CN104680150A - 基于彩色特征双重多核鉴别分析的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于彩色特征双重多核鉴别分析的人脸识别方法，将多核子空间学习技术应用到彩色人脸特征的双重鉴别分析中，对三个彩色分量分别使用三个不同的非线性核映射，再进行特征层双重鉴别分析。对于双重多核鉴别分析获取的特征，使用基于欧氏距离度量的最近邻分类器进行分类和识别。本发明识别效果更高，对R、G、B三个彩色分量的特征进行双重多核鉴别分析之后，鉴别特征的分类能力得到了明显增强。

Description

基于彩色特征双重多核鉴别分析的人脸识别方法

技术领域

本发明涉及一种基于彩色特征双重多核鉴别分析的人脸识别方法，属于人脸识别技术领域。

背景技术

现有基于RGB彩色特征双重鉴别分析的人脸识别方法(CDDA)(公开号CN103116758A)将线性鉴别分析技术同时应用到R、G、B三个彩色分量内部和三个彩色分量之间，在各个彩色分量内部和不同彩色分量之间实现基于欧式距离的特征层双重鉴别分析。具体做法如下：

$\underset{w_R,w_G,w_B}{\max }\underset{i=R}{\overset{B}{\mathrm{\Σ}}}(S_w^i-\mathrm{\α}{S}_b^i)+\mathrm{\γ}\underset{i=R}{\overset{B}{\mathrm{\Σ}}}\underset{\underset{j\≠i}{j=R}}{\overset{B}{\mathrm{\Σ}}}(S_w^{\mathrm{ij}}-\mathrm{\β}{S}_b^{\mathrm{ij}}),$

其中，w_R、w_G、w_B分别是待求的R、G、B三个彩色分量的投影向量，和分别表示第i个彩色分量训练样本集内部的类内特征散布矩阵和类间特征散布矩阵，和分别表示第i和第j个彩色分量训练样本集之间的类内特征散布矩阵和类间特征散布矩阵，α＞0、β＞0、γ＞0是三个可调的权重系数。

CDDA基于线性的技术，很难充分适应人脸图像复杂的非线性特性(例如，光照变化、表情变化、姿态变化等)，从而难以保证识别效果。因此，下面考虑通过非线性核子空间学习技术来解决这个问题。

发明内容

为解决上述问题，本发明公开了一种基于彩色特征双重多核鉴别分析的人脸识别方法，将多核子空间学习技术应用到彩色人脸特征的双重鉴别分析中，对三个彩色分量分别使用三个不同的非线性核映射，再进行特征层双重鉴别分析。对于双重多核鉴别分析获取的特征，使用最近邻分类器进行分类和识别。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于彩色特征双重多核鉴别分析的人脸识别方法，包括以下步骤：

步骤1，获得各彩色分量训练样本集，定义各彩色分量训练样本集内部的类内核特征散布矩阵和类间核特征散布矩阵、以及各彩色分量训练样本集之间的类内核特征散布矩阵和类间核特征散布矩阵，并在矩阵中加入多核组合系数；

步骤2，定义目标函数，对目标函数求解，得到投影后的训练样本特征集；

步骤3，获得测试样本，根据上述投影后的训练样本特征集，得出投影后的测试样本特征，使用基于欧氏距离度量的最近邻分类器对测试样本进行分类和识别。

作为本发明的进一步优化方案，步骤1中定义第i个彩色分量训练样本集内部的类内核特征散布矩阵和类间核特征散布矩阵以及第i和第j个彩色分量训练样本集之间的类内核特征散布矩阵和类间核特征散布矩阵如下：

$\begin{array}{c}{S}_w^i=\frac{1}{\underset{p=1}{\overset{c}{\mathrm{\Σ}}}{n}_p^2}\underset{p=1}{\overset{c}{\mathrm{\Σ}}}\underset{r=1}{\overset{n_p}{\mathrm{\Σ}}}\underset{t=1}{\overset{n_p}{\mathrm{\Σ}}}[W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{pr}}^i\right)-W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{pt}}^i\right)][W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{pr}}^i\right)-W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{pt}}^i\right){]}^T\\ =\frac{2}{\underset{p=1}{\overset{c}{\mathrm{\Σ}}}{n}_p^2}{A}_i^T{K}_i(F-M)K_i{A}_i\end{array}---\left(1\right)$

$\begin{array}{c}{S}_b^i=\frac{1}{n^2-\underset{p=1}{\overset{c}{\mathrm{\Σ}}}{n}_p^2}\underset{p=1}{\overset{c}{\mathrm{\Σ}}}\underset{q\≠p}{\overset{c}{\underset{q=1}{\mathrm{\Σ}}}}\underset{r=1}{\overset{n_p}{\mathrm{\Σ}}}\underset{t=1}{\overset{n_q}{\mathrm{\Σ}}}[W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{pr}}^i\right)-W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{qt}}^i\right)]{[W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{pr}}^i\right)-W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{qt}}^i\right)]}^T\\ =\frac{2}{n^2-\underset{p=1}{\overset{c}{\mathrm{\Σ}}}{n}_p^2}{A}_i^T{K}_i[({\mathrm{nI}}_n-F)-(E_n-M)]K_i{A}_i\end{array}---\left(2\right)$

$\begin{array}{c}{S}_w^{\mathrm{ij}}=\frac{1}{\underset{p=1}{\overset{c}{\mathrm{\Σ}}}{n}_p^2}\underset{p=1}{\overset{c}{\mathrm{\Σ}}}\underset{r=1}{\overset{n_p}{\mathrm{\Σ}}}\underset{t=1}{\overset{n_p}{\mathrm{\Σ}}}[W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{pr}}^i\right)-W_j^T{\mathrm{\φ}}_j\left(x_{\mathrm{pt}}^j\right)]{[W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{pr}}^i\right)-W_j^T{\mathrm{\φ}}_j\left(x_{\mathrm{pt}}^j\right)]}^T\\ =\frac{1}{\underset{p=1}{\overset{c}{\mathrm{\Σ}}}{n}_p^2}(A_i^T{K}_i{\mathrm{FK}}_i{A}_i-A_i^T{K}_i{\mathrm{MK}}_j{A}_j-A_j^T{K}_j{\mathrm{MK}}_i{A}_i+A_j^T{K}_j{\mathrm{FK}}_j{A}_j)\end{array}---\left(3\right)$

$\begin{array}{c}{S}_b^{\mathrm{ij}}=\frac{1}{n^2-\underset{p=1}{\overset{c}{\mathrm{\Σ}}}{n}_p^2}\underset{p=1}{\overset{c}{\mathrm{\Σ}}}\underset{q\≠p}{\overset{c}{\underset{q=1}{\mathrm{\Σ}}}}\underset{r=1}{\overset{n_p}{\mathrm{\Σ}}}\underset{t=1}{\overset{n_q}{\mathrm{\Σ}}}[W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{pr}}^i\right)-W_j^T{\mathrm{\φ}}_j\left(x_{\mathrm{qt}}^j\right)]{[W_i^T{\mathrm{\φ}}_i\left(x_{\mathrm{pr}}^i\right)-W_j^T{\mathrm{\φ}}_j\left(x_{\mathrm{qt}}^j\right)]}^T\\ =\frac{1}{n^2-\underset{p=1}{\overset{c}{\mathrm{\Σ}}}{n}_p^2}[A_i^T{K}_i({\mathrm{nI}}_n-F)K_i{A}_i-A_i^T{K}_i(E_n-M)K_j{A}_j\\ -A_j^T{K}_j(E_n-M)K_i{A}_i+A_j^T{K}_j({\mathrm{nI}}_n-F)K_j{A}_j]\end{array}---\left(4\right)$

且， $S_w^{\mathrm{ij}}=S_w^{\mathrm{ji}},S_b^{\mathrm{ij}}=S_b^{\mathrm{ji}};$

式中，X_R∈R^d×n、X_G∈R^d×n、X_B∈R^d×n分别表示R、G、B三个彩色分量训练样本集，n表示所有彩色人脸图像训练样本的个数，d表示彩色分量训练样本的维数，R^d×n表示d×n维的欧几里得空间；c表示彩色人脸图像训练样本的类别数；i和j分别表示第i个和第j个彩色分量，i＝R,G，B，j＝R,G，B，i≠j；p和q分别表示彩色人脸图像的第p类和第q类，p＝1,2,...,c，q＝1,2,...,c，p≠q；n_p和n_q分别表示第p类和第q类的彩色人脸图像训练样本个数；和分别表示X_i中第p类的第r个样本和第t个样本，表示X_j中第p类的第t个样本，和分别表示X_i和X_j中第q类的第t个样本，R^d表示d维的欧几里得空间；φ_i(·)和φ_j(·)分别表示第i个和第j个彩色分量的核映射，将第i个和第j个彩色分量样本从原始d维的线性空间R^d映射到非线性高维核空间H_i和H_j，H_i和H_j的维数分别为和W_i和W_j分别表示第i个和第j个彩色分量的投影变换，将核映射后的第i个和第j个彩色分量样本维数从和降低到D^L， $D^L<\min \{D_R^H,D_G^H,D_B^H\},$ 分别表示核映射后R、G、B三个彩色分量样本维数；W_i＝φ_i(X_i)A_i，W_j＝φ_j(X_j)A_j，和分别是第i个和第j个彩色分量的投影系数矩阵，表示n×D^L维的欧几里得空间；K_i∈R^n×n和K_j∈R^n×n分别表示X_i和X_j的核矩阵，R^n×n表示n×n维的欧几里得空间； $F=\left[\begin{array}{cccc}{n}_1{I}_{n_1}& 0& ...& 0\\ 0& n_2{I}_{n_2}& ...& 0\\ .& .& & .\\ .& .& ...& .\\ .& .& & .\\ 0& 0& ...& n_c{I}_{n_c}\end{array}\right]\&Element;R^{n\&times;n};$ $M=\left[\begin{array}{cccc}{E}_{n_1}& 0& ...& 0\\ 0& E_{n_2}& ...& 0\\ .& .& & .\\ .& .& ...& .\\ .& .& & .\\ 0& 0& ...& E_{n_c}\end{array}\right]\&Element;R^{n\&times;n};$ 表示一个n_p阶单位阵，表示一个n_p阶所有元素都为1的方阵；I_n表示一个n阶单位阵；E_n表示一个n阶所有元素都为1的方阵；T表示转置。

作为本发明的进一步优化方案，在上述的和中加入多核组合系数，即用ω_iK_i替换K_i、ω_jK_j替换K_j，可得

$S_w^{\mathrm{i\&omega;}}=\frac{2{\mathrm{\&omega;}}_i^2}{\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}{A}_i^T{K}_i(F-M)K_i{A}_i---\left(5\right)$

$S_b^{\mathrm{i\&omega;}}=\frac{2{\mathrm{\&omega;}}_i^2}{n^2-\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}{A}_i^T{K}_i[({\mathrm{nI}}_n-F)-(E_n-M)]K_i{A}_i---\left(6\right)$

$S_w^{\mathrm{ij\&omega;}}=\frac{1}{\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}({\mathrm{\&omega;}}_i^2{A}_i^T{K}_i{\mathrm{FK}}_i{A}_i-{\mathrm{\&omega;}}_i{\mathrm{\&omega;}}_j{A}_i^T{K}_i{\mathrm{MK}}_j{A}_j-{\mathrm{\&omega;}}_j{\mathrm{\&omega;}}_i{A}_j^T{K}_j{\mathrm{MK}}_i{A}_i+{\mathrm{\&omega;}}_j^2{A}_j^T{K}_j{\mathrm{FK}}_j{A}_j)---\left(7\right)$

$\begin{array}{c}{S}_b^{\mathrm{ij\&omega;}}=\frac{1}{n^2-\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}[{\mathrm{\&omega;}}_i^2{A}_i^T{K}_i({\mathrm{nI}}_n-F)K_i{A}_i-{\mathrm{\&omega;}}_i{\mathrm{\&omega;}}_j{A}_i^T{K}_i(E_n-M)K_j{A}_j\\ -{\mathrm{\&omega;}}_j{\mathrm{\&omega;}}_i{A}_j^T{K}_j(E_n-M)K_i{A}_i+{\mathrm{\&omega;}}_j^2{A}_j^T{K}_j({\mathrm{nI}}_n-F)K_j{A}_j]\end{array}---\left(8\right)$

且依旧满足： $S_w^{\mathrm{ij\&omega;}}=S_w^{\mathrm{ji\&omega;}},S_b^{\mathrm{ij\&omega;}}=S_b^{\mathrm{ji\&omega;}};$

式中，ω_i和ω_j分别表示多核学习中对应核函数k_i和k_j的多核组合系数，k_i和k_j分别表示核映射φ_i(·)和φ_j(·)对应的核函数。

作为本发明的进一步优化方案，定义目标函数为：

$\underset{{\mathrm{\&omega;}}_R,{\mathrm{\&omega;}}_G,{\mathrm{\&omega;}}_B}{\underset{A_R,A_G,A_B}{\max }}\frac{\mathrm{tr}(S_b^{\mathrm{R\&omega;}}+S_b^{\mathrm{G\&omega;}}+S_b^{\mathrm{B\&omega;}}+S_b^{\mathrm{RG\&omega;}}+S_b^{\mathrm{GB\&omega;}}+S_b^{\mathrm{BR\&omega;}})}{\mathrm{tr}(S_w^{\mathrm{R\&omega;}}+S_w^{\mathrm{G\&omega;}}+S_w^{\mathrm{B\&omega;}}+S_w^{\mathrm{RG\&omega;}}+S_w^{\mathrm{GB\&omega;}}+S_w^{\mathrm{BR\&omega;}})}---\left(9\right)$

式中，A_R、A_G、A_B分别表示R、G、B三个彩色分量的投影系数矩阵；ω_R、ω_G、ω_B分别表示多核学习中对应核函数k_R、k_G、k_B的多核组合系数，k_R、k_G、k_B分别表示核映射φ_R(·)、φ_G(·)、φ_B(·)对应的核函数，φ_R(·)、φ_G(·)、φ_B(·)分别表示R、G、B三个彩色分量的核映射；tr(·)表示方阵的迹；分别表示R、G、B三个彩色分量训练样本集内部的类间核特征散布矩阵，表示R、G彩色分量训练样本集之间的类间核特征散布矩阵，表示G、B彩色分量训练样本集之间的类间核特征散布矩阵，表示B、R彩色分量训练样本集之间的类间核特征散布矩阵；分别表示R、G、B三个彩色分量训练样本集内部的类内核特征散布矩阵，表示R、G彩色分量训练样本集之间的类内核特征散布矩阵，表示G、B彩色分量训练样本集之间的类内核特征散布矩阵，表示B、R彩色分量训练样本集之间的类内核特征散布矩阵；

将目标函数改写为下面两个式子：

$\underset{A}{\max }\frac{\mathrm{tr}\left(A^T\mathrm{LA}\right)}{\mathrm{tr}\left(A^T\mathrm{JA}\right)},---\left(10\right)$

$\underset{\mathrm{\&Omega;}}{\max }\frac{{\mathrm{\&Omega;}}^T\mathrm{P\&Omega;}}{{\mathrm{\&Omega;}}^T\mathrm{Q\&Omega;}},---\left(11\right)$

式中， $A=\left[\begin{array}{c}{A}_R\\ A_G\\ A_B\end{array}\right],$ $L=\left[\begin{array}{ccc}{\mathrm{\&omega;}}_R^2{K}_R{L}_1{K}_R& {\mathrm{\&omega;}}_R{\mathrm{\&omega;}}_G{K}_R{L}_2{K}_G& {\mathrm{\&omega;}}_R{\mathrm{\&omega;}}_B{K}_R{L}_2{K}_B\\ {\mathrm{\&omega;}}_G{\mathrm{\&omega;}}_R{K}_G{L}_2{K}_R& {\mathrm{\&omega;}}_G^2{K}_G{L}_1{K}_G& {\mathrm{\&omega;}}_G{\mathrm{\&omega;}}_B{K}_G{L}_2{K}_B\\ {\mathrm{\&omega;}}_B{\mathrm{\&omega;}}_R{K}_B{L}_2{K}_R& {\mathrm{\&omega;}}_B{\mathrm{\&omega;}}_G{K}_B{L}_2{K}_G& {\mathrm{\&omega;}}_B^2{K}_B{L}_1{K}_B\end{array}\right],$ $J=\left[\begin{array}{ccc}{\mathrm{\&omega;}}_R^2{K}_R{J}_1{K}_R& {\mathrm{\&omega;}}_R{\mathrm{\&omega;}}_G{K}_R{J}_2{K}_G& {\mathrm{\&omega;}}_R{\mathrm{\&omega;}}_B{K}_R{J}_2{K}_B\\ {\mathrm{\&omega;}}_G{\mathrm{\&omega;}}_R{K}_G{J}_2{K}_R& {\mathrm{\&omega;}}_G^2{K}_G{J}_1{K}_G& {\mathrm{\&omega;}}_G{\mathrm{\&omega;}}_B{K}_G{J}_2{K}_B\\ {\mathrm{\&omega;}}_B{\mathrm{\&omega;}}_R{K}_B{J}_2{K}_R& {\mathrm{\&omega;}}_B{\mathrm{\&omega;}}_G{K}_B{J}_2{K}_G& {\mathrm{\&omega;}}_B^2{K}_B{J}_1{K}_B\end{array}\right],$ L₁＝4(nI_n-F)+2(M-E_n)，L₂＝M-E_n，J₁＝4F-2M，J₂＝-M， $\mathrm{\&Omega;}=\left[\begin{array}{c}{\mathrm{\&omega;}}_R\\ {\mathrm{\&omega;}}_G\\ {\mathrm{\&omega;}}_B\end{array}\right],$ $P=\left[\begin{array}{ccc}\mathrm{tr}\left(A_R^T{K}_R{L}_1{K}_R{A}_R\right)& \mathrm{tr}\left(A_R^T{K}_R{L}_2{K}_G{A}_G\right)& \mathrm{tr}\left(A_R^T{K}_R{L}_2{K}_B{A}_B\right)\\ \mathrm{tr}\left(A_G^T{K}_G{L}_2{K}_R{A}_R\right)& \mathrm{tr}\left(A_G^T{K}_G{L}_1{K}_G{A}_G\right)& \mathrm{tr}\left(A_G^T{K}_G{L}_2{K}_B{A}_B\right)\\ \mathrm{tr}\left(A_B^T{K}_B{L}_2{K}_R{A}_R\right)& \mathrm{tr}\left(A_B^T{K}_B{L}_2{K}_G{A}_G\right)& \mathrm{tr}\left(A_B^T{K}_B{L}_1{K}_B{A}_B\right)\end{array}\right],$ $Q=\left[\begin{array}{ccc}\mathrm{tr}\left(A_R^T{K}_R{J}_1{K}_R{A}_R\right)& \mathrm{tr}\left(A_R^T{K}_R{J}_2{K}_G{A}_G\right)& \mathrm{tr}\left(A_R^T{K}_R{J}_2{K}_B{A}_B\right)\\ \mathrm{tr}\left(A_G^T{K}_G{J}_2{K}_R{A}_R\right)& \mathrm{tr}\left(A_G^T{K}_G{J}_1{K}_G{A}_G\right)& \mathrm{tr}\left(A_G^T{K}_G{J}_2{K}_B{A}_B\right)\\ \mathrm{tr}\left(A_B^T{K}_B{J}_2{K}_R{A}_R\right)& \mathrm{tr}\left(A_B^T{K}_B{J}_2{K}_G{A}_G\right)& \mathrm{tr}\left(A_B^T{K}_B{J}_1{K}_B{A}_B\right)\end{array}\right].$

作为本发明的进一步优化方案，对目标函数求解，得到各彩色分量的投影系数矩阵和多核组合系数，求解迭代方法如下：

5-1)初始化ω_R＝1/3、ω_G＝1/3、ω_B＝1/3、v₁＝-100，v₁表示中间变量；

5-2)，根据ω_R、ω_G、ω_B，通过对J^-1L矩阵进行特征分解得到公式(10)的解A_R、A_G、A_B， $A_R=[{\mathrm{\&alpha;}}_R^1,{\mathrm{\&alpha;}}_R^2,...,{\mathrm{\&alpha;}}_R^{D^L}],A_G=[{\mathrm{\&alpha;}}_G^1,{\mathrm{\&alpha;}}_G^2,...,{\mathrm{\&alpha;}}_G^{D^L}],A_B=[{\mathrm{\&alpha;}}_B^1,{\mathrm{\&alpha;}}_B^2,...,{\mathrm{\&alpha;}}_B^{D^L}];$

5-3)令v₂＝tr(A^TLA)/tr(A^TJA)，如果v₂-v₁≤ε，则停止迭代更新，输出当前的ω_R、ω_G、ω_B、A_R、A_G、A_B；否则，令v₁＝v₂，进入5-4；v₂表示中间变量，ε＞0表示收敛阈值；

5-4)根据已知的A_R、A_G、A_B，通过对Q^-1P矩阵进行特征分解得到公式(11)的解ω_R、ω_G、ω_B，返回5-2。

作为本发明的进一步优化方案，投影后的训练样本特征集为：

$Z_X={[{\left(A_R^T{\mathrm{\&omega;}}_R{K}_R\right)}^T,{\left(A_G^T{\mathrm{\&omega;}}_G{K}_G\right)}^T,{\left(A_B^T{\mathrm{\&omega;}}_B{K}_B\right)}^T]}^T.---\left(12\right)$

作为本发明的进一步优化方案，投影后的测试样本特征为：

$Z_y={[{\left(A_R^T{\mathrm{\&omega;}}_R{K}_{y_R}\right)}^T,{\left(A_G^T{\mathrm{\&omega;}}_G{K}_{y_G}\right)}^T,{\left(A_B^T{\mathrm{\&omega;}}_B{K}_{y_B}\right)}^T]}^T.---\left(13\right)$

式中，y_R∈R^d、y_G∈R^d、y_B∈R^d分别表示测试样本y的R、G、B三个彩色分量，表示y_i的核矩阵，中第r行的元素 表示X_i中的第r个样本，i＝R,G,B。

作为本发明的进一步优化方案，步骤3中使用基于欧氏距离度量的最近邻分类器对测试样本进行分类和识别，具体为：计算投影后的测试样本特征到投影后的训练样本特征集中每个训练样本特征的欧式距离，将测试样本归到距离最小的那个训练样本所在的类。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明提供基于彩色特征双重多核鉴别分析的人脸识别方法，将多核子空间学习技术应用到彩色人脸特征的双重鉴别分析中，对三个彩色分量分别使用三个不同的非线性核映射，再进行特征层双重鉴别分析。对于双重多核鉴别分析获取的特征，使用基于欧氏距离度量的最近邻分类器进行分类和识别。本发明识别效果更高，对R、G、B三个彩色分量的特征进行双重多核鉴别分析之后，鉴别特征的分类能力得到了明显增强。

附图说明

图1是本发明的方法流程图。

图2是彩色人脸数据库中选出并处理后的人脸实例图片。

图3是利用CDDA和本发明提供的识别方法分别进行验证试验的20次随机测试识别率波动图。

具体实施方式

下面结合附图以及具体实施例对本发明的技术方案做进一步的详细说明：

非线性核子空间学习技术可以通过非线性核映射改变样本的分布，使原来线性空间中难以分离的样本在非线性核空间中可分离。另外，考虑到彩色人脸图像存在三个彩色分量(也可以看作三个光谱)，为了应对不同彩色分量的不同特性，将多核子空间学习技术应用到彩色人脸特征的双重鉴别分析中，对三个彩色分量分别使用三个不同的非线性核映射，再进行特征层双重鉴别分析；对于双重多核鉴别分析获取的特征，使用最近邻分类器进行分类和识别。

图1为本发明基于彩色特征双重多核鉴别分析的人脸识别方法的流程图，其具体内容这里不再赘述。

为验证本发明基于彩色特征双重多核鉴别分析的人脸识别方法，在Face RecognitionGrand Challenge(FRGC)version 2 Experiment 4彩色人脸数据库上做仿真实验，以证明本发明基于彩色特征双重多核鉴别分析的人脸识别方法在彩色人脸识别问题中的高有效性。

本发明实验验证选用的Face Recognition Grand Challenge(FRGC)version 2 Experiment 4彩色人脸数据库。该数据库规模较大，包含了training、target、query三个子库，training子库包含222个人的12776张图片，target子库包含466个人的16028张图片，query子库包含466个人的8014张图片。实验选用了training集合的所有222人，每个人36幅图像。所有选中的原始图像都进行了校正(使两眼处于水平位置)、缩放和裁剪，每个图像样本只保留60×60大小的人脸及附近区域，处理后的人脸示例图片如图2所示。

在实验数据库中，每个类别随机选择8个彩色人脸图像样本作为训练样本，其余样本作为测试样本，进行20次随机测试。对三个彩色分量样本集分别使用三个核参数不同的GaussianRBF核k(a,b)＝exp(-||a-b||²/t)作为多核学习的核函数，其中t是核参数，a和b分别表示同一彩色分量的两个样本向量。R、G、B三个彩色分量对应的核参数的值分别是8.2×10¹⁰、5.1×10⁷、2.8×10¹²。

图3显示了CDDA方法和本发明基于彩色特征双重多核鉴别分析的人脸识别方法(即图中的CD-MK-DA方法)20次随机测试的识别效果。在图3中，横坐标是随机测试的序号，纵坐标为识别率(＝正确识别的测试样本个数/测试样本总数)。表1给出了两个方法20次随机测试的平均识别率和标准差。与CDDA方法相比，基于彩色特征双重多核鉴别分析的人脸识别方法的识别效果明显更高一些。这说明对R、G、B三个彩色分量的特征进行双重多核鉴别分析之后，鉴别特征的分类能力得到了增强。

表1 20次随机测试的平均识别率和标准差

方法名称	识别率(均值和标准差 ％)
		CDDA	83.18±1.95
CD-MK-DA	85.59±1.75

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.基于彩色特征双重多核鉴别分析的人脸识别方法，其特征在于，包括以下步骤：

步骤1，获得各彩色分量训练样本集，定义各彩色分量训练样本集内部的类内核特征散布矩阵和类间核特征散布矩阵、以及各彩色分量训练样本集之间的类内核特征散布矩阵和类间核特征散布矩阵，并在矩阵中加入多核组合系数；

步骤2，定义目标函数，对目标函数求解，得到投影后的训练样本特征集；

步骤3，获得测试样本，根据上述投影后的训练样本特征集，得出投影后的测试样本特征，使用基于欧氏距离度量的最近邻分类器对测试样本进行分类和识别。

2.根据权利要求1所述的基于彩色特征双重多核鉴别分析的人脸识别方法，其特征在于，步骤1中定义第i个彩色分量训练样本集内部的类内核特征散布矩阵和类间核特征散布矩阵以及第i和第j个彩色分量训练样本集之间的类内核特征散布矩阵和类间核特征散布矩阵如下：

$\begin{array}{c}{S}_w^i=\frac{1}{\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}\underset{r=1}{\overset{n_p}{\mathrm{\&Sigma;}}}\underset{t=1}{\overset{n_p}{\mathrm{\&Sigma;}}}[{W_i}^T{\mathrm{\&phi;}}_i\left(x_{\mathrm{pr}}^i\right)-{W_i}^T{\mathrm{\&phi;}}_i\left(x_{\mathrm{pt}}^i\right)][{W_i}^T{\mathrm{\&phi;}}_i\left(x_{\mathrm{pr}}^i\right){-W_i^T{\mathrm{\&phi;}}_i\left(x_{\mathrm{pt}}^i\right)]}^T\\ =\frac{2}{\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}{A}_i^T{K}_i(F-M)K_i{A}_i\end{array}---\left(1\right)$

$\begin{array}{c}{S}_b^i=\frac{1}{n^2-\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}\underset{\begin{array}{c}q=1\\ q\&NotEqual;p\end{array}}{\overset{c}{\mathrm{\&Sigma;}}}\underset{r=1}{\overset{n_p}{\mathrm{\&Sigma;}}}\underset{t=1}{\overset{n_q}{\mathrm{\&Sigma;}}}[{W_i}^T{\mathrm{\&phi;}}_i\left(x_{\mathrm{pr}}^i\right)-{W_i}^T{\mathrm{\&phi;}}_i\left(x_{\mathrm{qt}}^i\right)][{W_i}^T{\mathrm{\&phi;}}_i\left(x_{\mathrm{pr}}^i\right)-{W_i}^T{\mathrm{\&phi;}}_i\left(x_{\mathrm{qt}}^i\right){]}^T\\ =\frac{2}{n^2-\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}{A}_i^T[({\mathrm{nI}}_n-F)-(E_n-M)]K_i{A}_i\end{array}---\left(2\right)$

$\begin{array}{c}{S}_b^{\mathrm{ij}}=\frac{1}{n^2-\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}\underset{\begin{array}{c}q=1\\ q\&NotEqual;p\end{array}}{\overset{c}{\mathrm{\&Sigma;}}}\underset{r=1}{\overset{n_p}{\mathrm{\&Sigma;}}}\underset{t=1}{\overset{n_q}{\mathrm{\&Sigma;}}}[{W_i}^T{\mathrm{\&phi;}}_i\left(x_{\mathrm{pr}}^i\right)-W_j^T{\mathrm{\&phi;}}_j\left(x_{\mathrm{qt}}^j\right)]{[{W_i}^T{\mathrm{\&phi;}}_i\left(x_{\mathrm{pr}}^i\right)-W_j^T{\mathrm{\&phi;}}_j\left(x_{\mathrm{qt}}^j\right)]}^T\\ =\frac{1}{n^2-\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}[A_i^T{K}_i({\mathrm{nI}}_n-F)K_i{A}_i-A_i^T{K}_i(E_n-M)K_j{A}_j\\ -A_j^T{K}_j(E_n-M)K_i{A}_i+A_j^T{K}_j({\mathrm{nI}}_n-F)K_j{A}_j]\end{array}---\left(4\right)$

且， $S_w^{\mathrm{ij}}=S_w^{\mathrm{ij}},S_b^{\mathrm{ij}}=S_b^{\mathrm{ji}};$

式中，X_R∈R^d×n、X_G∈R^d×n、X_B∈R^d×n分别表示R、G、B三个彩色分量训练样本集，n表示所有彩色人脸图像训练样本的个数，d表示彩色分量训练样本的维数，R^d×n表示d×n维的欧几里得空间；c表示彩色人脸图像训练样本的类别数；i和j分别表示第i个和第j个彩色分量，i＝R,G，B，j＝R,G，B，i≠j；p和q分别表示彩色人脸图像的第p类和第q类，p＝1,2,…,c，q＝1,2,…,c，p≠q；n_p和n_q分别表示第p类和第q类的彩色人脸图像训练样本个数；和分别表示X_i中第p类的第r个样本和第t个样本，表示X_j中第p类的第t个样本，和分别表示X_i和X_j中第q类的第t个样本，R^d表示d维的欧几里得空间；φ_i(·)和φ_j(·)分别表示第i个和第j个彩色分量的核映射，将第i个和第j个彩色分量样本从原始d维的线性空间R^d映射到非线性高维核空间H_i和H_j，H_i和H_j的维数分别为和W_i和W_j分别表示第i个和第j个彩色分量的投影变换，将核映射后的第i个和第j个彩色分量样本维数从和降低到D^L， $D^L<\min \{D_R^H,D_G^H,D_B^H\},$ 分别表示核映射后R、G、B三个彩色分量样本维数；W_i＝φ_i(X_i)A_i，W_j＝φ_j(X_j)A_j，和分别是第i个和第j个彩色分量的投影系数矩阵，表示n×D^L维的欧几里得空间；K_i∈R^n×n和K_j∈R^n×n分别表示X_i和X_j的核矩阵，R^n×n表示n×n维的欧几里得空间； $F=\left[\begin{array}{cccc}{n}_1{I}_{n_1}& 0& ...& 0\\ 0& n_2{I}_{n_2}& ...& 0\\ .& .& & .\\ .& .& ...& .\\ .& .& & .\\ 0& 0& ...& n_c{I}_{n_c}\end{array}\right]\&Element;R^{n\&times;n};$ $M=\left[\begin{array}{cccc}{E}_{n_1}& 0& ...& 0\\ 0& E_{n_2}& ...& 0\\ .& .& & .\\ .& .& ...& .\\ .& .& & .\\ 0& 0& ...& E_{n_c}\end{array}\right]\&Element;R^{n\&times;n};$ 表示一个n_p阶单位阵，表示一个n_p阶所有元素都为1的方阵；I_n表示一个n阶单位阵；E_n表示一个n阶所有元素都为1的方阵；T表示转置。

3.根据权利要求2所述的基于彩色特征双重多核鉴别分析的人脸识别方法，其特征在于，在和中加入多核组合系数，即用ω_iK_i替换K_i、ω_jK_j替换K_j，可得

$S_w^{\mathrm{i\&omega;}}=\frac{{2\mathrm{\&omega;}}_i^2}{\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}{A}_i^T{K}_i(F-M)K_i{A}_i---\left(5\right)$

$S_b^{\mathrm{i\&omega;}}=\frac{{2\mathrm{\&omega;}}_i^2}{n^2-\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}{A}_i^T{K}_i[(n{I}_n-F)-(E_n-M)]K_i{A}_i---\left(6\right)$

$S_w^{\mathrm{ij\&omega;}}=\frac{1}{\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}({\mathrm{\&omega;}}_i^2{A}_i^T{K}_{i}F{K}_i{A}_i-{\mathrm{\&omega;}}_i{\mathrm{\&omega;}}_j{A}_i^T{K}_{i}M{K}_j{A}_j-{\mathrm{\&omega;}}_j{\mathrm{\&omega;}}_i{A}_j^T{K}_{j}M{K}_i{A}_i+{\mathrm{\&omega;}}_j^2{A}_j^T{K}_{j}F{K}_j{A}_j)---\left(7\right)$

$\begin{array}{c}{S}_b^{\mathrm{ij\&omega;}}\frac{1}{n^2-\underset{p=1}{\overset{c}{\mathrm{\&Sigma;}}}{n}_p^2}[{\mathrm{\&omega;}}_i^2{A}_i^T{K}_i({\mathrm{nI}}_n-F)K_i{A}_i-{\mathrm{\&omega;}}_i{\mathrm{\&omega;}}_j{A}_i^T{K}_i(E_n-M)K_j{A}_j\\ -{\mathrm{\&omega;}}_j{\mathrm{\&omega;}}_i{A}_j^T{K}_j(E_n-M)K_i{A}_i+{\mathrm{\&omega;}}_j^2{A}_j^T{K}_j({\mathrm{nI}}_n-F)K_j{A}_j]\end{array}---\left(8\right)$

且依旧满足： $S_w^{\mathrm{ij\&omega;}}=S_w^{\mathrm{ij\&omega;}},S_b^{\mathrm{ij\&omega;}}=S_b^{\mathrm{ji\&omega;}};$

式中，ω_i和ω_j分别表示多核学习中对应核函数k_i和k_j的多核组合系数，k_i和k_j分别表示核映射φ_i(·)和φ_j(·)对应的核函数。

4.根据权利要求3所述的基于彩色特征双重多核鉴别分析的人脸识别方法，其特征在于，定义目标函数为：

$\underset{\begin{array}{c}{A}_R,A_G,A_B\\ {\mathrm{\&omega;}}_R,{\mathrm{\&omega;}}_G,{\mathrm{\&omega;}}_B\end{array}}{\max }\frac{\mathrm{tr}(S_b^{\mathrm{R\&omega;}}+S_b^{\mathrm{G\&omega;}}+S_b^{\mathrm{B\&omega;}}+S_b^{\mathrm{RG\&omega;}}+S_b^{\mathrm{GB\&omega;}}+S_b^{\mathrm{BR\&omega;}})}{\mathrm{tr}(S_w^{\mathrm{R\&omega;}}+S_w^{\mathrm{G\&omega;}}+S_w^{\mathrm{B\&omega;}}+S_w^{\mathrm{RG\&omega;}}+S_w^{\mathrm{GB\&omega;}}+S_w^{\mathrm{BR\&omega;}})}---\left(9\right)$

式中，A_R、A_G、A_B分别表示R、G、B三个彩色分量的投影系数矩阵；ω_R、ω_G、ω_B分别表示多核学习中对应核函数k_R、k_G、k_B的多核组合系数，k_R、k_G、k_B分别表示核映射φ_R(·)、φ_G(·)、φ_B(·)对应的核函数，φ_R(·)、φ_G(·)、φ_B(·)分别表示R、G、B三个彩色分量的核映射；tr(·)表示方阵的迹；分别表示R、G、B三个彩色分量训练样本集内部的类间核特征散布矩阵，表示R、G彩色分量训练样本集之间的类间核特征散布矩阵，表示G、B彩色分量训练样本集之间的类间核特征散布矩阵，表示B、R彩色分量训练样本集之间的类间核特征散布矩阵；分别表示R、G、B三个彩色分量训练样本集内部的类内核特征散布矩阵，表示R、G彩色分量训练样本集之间的类内核特征散布矩阵，表示G、B彩色分量训练样本集之间的类内核特征散布矩阵，表示B、R彩色分量训练样本集之间的类内核特征散布矩阵；

将目标函数改写为：

$\underset{A}{\max }\frac{\mathrm{tr}\left(A^T\mathrm{LA}\right)}{\mathrm{tr}\left(A^T\mathrm{JA}\right)},---\left(10\right)$

$\underset{\mathrm{\&Omega;}}{\max }\frac{{\mathrm{\&Omega;}}^T\mathrm{P\&Omega;}}{{\mathrm{\&Omega;}}^T\mathrm{Q\&Omega;}},---\left(11\right)$

式中， $A=\left[\begin{array}{c}{A}_R\\ A_G\\ A_B\end{array}\right],L=\left[\begin{array}{ccc}{\mathrm{\&omega;}}_R^2{K}_R{L}_1{K}_R& {\mathrm{\&omega;}}_R{\mathrm{\&omega;}}_G{K}_R{L}_2{K}_G& {\mathrm{\&omega;}}_R{\mathrm{\&omega;}}_B{K}_R{L}_2{K}_B\\ {\mathrm{\&omega;}}_G{\mathrm{\&omega;}}_R{K}_G{L}_2{K}_R& {\mathrm{\&omega;}}_G^2{K}_G{L}_1{K}_G& {\mathrm{\&omega;}}_G{\mathrm{\&omega;}}_B{K}_G{L}_2{K}_B\\ {\mathrm{\&omega;}}_B{\mathrm{\&omega;}}_R{K}_B{L}_2{K}_R& {\mathrm{\&omega;}}_B{\mathrm{\&omega;}}_G{K}_B{L}_2{K}_G& {\mathrm{\&omega;}}_B^2{K}_B{L}_1{K}_B\end{array}\right],$ $J=\left[\begin{array}{ccc}{\mathrm{\&omega;}}_R^2{K}_R{J}_1{K}_R& {\mathrm{\&omega;}}_R{\mathrm{\&omega;}}_G{K}_R{J}_2{K}_G& {\mathrm{\&omega;}}_R{\mathrm{\&omega;}}_B{K}_R{J}_2{K}_B\\ {\mathrm{\&omega;}}_G{\mathrm{\&omega;}}_R{K}_G{J}_2{K}_R& {\mathrm{\&omega;}}_G^2{K}_G{J}_1{K}_G& {\mathrm{\&omega;}}_G{\mathrm{\&omega;}}_B{K}_G{J}_2{K}_B\\ {\mathrm{\&omega;}}_B{\mathrm{\&omega;}}_R{K}_B{J}_2{K}_R& {\mathrm{\&omega;}}_B{\mathrm{\&omega;}}_G{K}_B{J}_2{K}_G& {\mathrm{\&omega;}}_B^2{K}_B{J}_1{K}_B\end{array}\right],$ L₁＝4(nI_n-F)+2(M-E_n)，L₂＝M-E_n，J₁＝4F-2M，J₂＝-M， $\mathrm{\&Omega;}=\left[\begin{array}{c}{\mathrm{\&omega;}}_R\\ {\mathrm{\&omega;}}_G\\ {\mathrm{\&omega;}}_B\end{array}\right],P=\begin{array}{}\end{array}\left[\begin{array}{ccc}\mathrm{tr}\left(A_R^T{K}_R{L}_1{K}_R{A}_R\right)& \mathrm{tr}\left(A_R^T{K}_R{L}_2{K}_G{A}_G\right)& \mathrm{tr}\left(A_R^T{K}_R{L}_2{K}_B{A}_B\right)\\ \mathrm{tr}\left(A_G^T{K}_G{L}_2{K}_R{A}_R\right)& \mathrm{tr}\left(A_G^T{K}_G{L}_1{K}_G{A}_G\right)& \mathrm{tr}\left(A_G^T{K}_G{L}_2{K}_B{A}_B\right)\\ \mathrm{tr}\left(A_B^T{K}_B{L}_2{K}_R{A}_R\right)& \mathrm{tr}\left(A_B^T{K}_B{L}_2{K}_G{A}_G\right)& \mathrm{tr}\left(A_B^T{K}_B{L}_1{K}_B{A}_B\right)\end{array}\right],$ $Q=\begin{array}{}\end{array}\left[\begin{array}{ccc}\mathrm{tr}\left(A_R^T{K}_R{J}_1{K}_R{A}_R\right)& \mathrm{tr}\left(A_R^T{K}_R{J}_2{K}_G{A}_G\right)& \mathrm{tr}\left(A_R^T{K}_R{J}_2{K}_B{A}_B\right)\\ \mathrm{tr}\left(A_G^T{K}_G{J}_2{K}_R{A}_R\right)& \mathrm{tr}\left(A_G^T{K}_G{J}_1{K}_G{A}_G\right)& \mathrm{tr}\left(A_G^T{K}_G{J}_2{K}_B{A}_B\right)\\ \mathrm{tr}\left(A_B^T{K}_B{J}_2{K}_R{A}_R\right)& \mathrm{tr}\left(A_B^T{K}_B{J}_2{K}_G{A}_G\right)& \mathrm{tr}\left(A_B^T{K}_B{J}_1{K}_B{A}_B\right)\end{array}\right].$

5.根据权利要求4所述的基于彩色特征双重多核鉴别分析的人脸识别方法，其特征在于，对目标函数求解，得到各彩色分量的投影系数矩阵和多核组合系数，求解迭代方法如下：

5-1)初始化ω_R＝1/3、ω_G＝1/3、ω_B＝1/3、v₁＝-100，v₁表示中间变量；

5-2)根据ω_R、ω_G、ω_B，通过对J^-1L矩阵进行特征分解得到公式(10)的解A_R、A_G、A_B， $A_R=[{\mathrm{\&alpha;}}_R^1,{\mathrm{\&alpha;}}_R^2,...,{\mathrm{\&alpha;}}_R^{D^L}],A_G=[{\mathrm{\&alpha;}}_G^1,{\mathrm{\&alpha;}}_G^2,...,{\mathrm{\&alpha;}}_G^{D^L}],A_B=[{\mathrm{\&alpha;}}_B^1,{\mathrm{\&alpha;}}_B^2,...,{\mathrm{\&alpha;}}_B^{D^L}];$

5-3)令v₂＝tr(A^TLA)/tr(A^TJA)，如果v₂-v₁≤ε，则停止迭代更新，输出当前的ω_R、ω_G、ω_B、A_R、A_G、A_B；否则，令v₁＝v₂，进入5-4；v₂表示中间变量，ε＞0表示收敛阈值；

5-4)根据已知的A_R、A_G、A_B，通过对Q^-1P矩阵进行特征分解得到公式(11)的解ω_R、ω_G、ω_B，返回5-2。

6.根据权利要求5所述的基于彩色特征双重多核鉴别分析的人脸识别方法，其特征在于，投影后的训练样本特征集为：

$Z_X={[{\left(A_R^T{\mathrm{\&omega;}}_R{K}_R\right)}^T,{\left(A_G^T{\mathrm{\&omega;}}_G{K}_G\right)}^T,{\left(A_B^T{\mathrm{\&omega;}}_B{K}_B\right)}^T]}^T.---\left(12\right)$

7.根据权利要求6所述的基于彩色特征双重多核鉴别分析的人脸识别方法，其特征在于，投影后的测试样本特征为：

$Z_y={[{\left(A_R^T{\mathrm{\&omega;}}_R{K}_{y_R}\right)}^T,{\left(A_G^T{\mathrm{\&omega;}}_G{K}_{y_G}\right)}^T,{\left(A_B^T{\mathrm{\&omega;}}_B{K}_{y_B}\right)}^T]}^T.---\left(13\right)$

式中，y_R∈R^d、y_G∈R^d、y_B∈R^d分别表示测试样本y的R、G、B三个彩色分量，表示y_i的核矩阵，中第r行的元素表示X_i中的第r个样本，i＝R,G,B。

8.根据权利要求7所述的基于彩色特征双重多核鉴别分析的人脸识别方法，其特征在于，步骤3中使用基于欧氏距离度量的最近邻分类器对测试样本进行分类和识别，具体为：计算投影后的测试样本特征到投影后的训练样本特征集中每个训练样本特征的欧式距离，将测试样本归到距离最小的那个训练样本所在的类。