CN106446840A - 基于典型相关多核学习的彩色人脸识别方法 - Google Patents

Abstract

本发明公开了基于典型相关多核学习的彩色人脸识别方法，该方法将多核学习技术应用于彩色人脸图像的典型相关分析，对三个彩色分量分别使用三个不同的核映射，再通过典型相关多核学习对三个彩色分量分别进行非线性特征提取。对于提取到的特征，使用基于余弦距离的最近邻分类器进行分类和识别。本发明识别效果更高，通过典型相关多核学习，彩色人脸特征的分类能力得到了明显增强。

Description

基于典型相关多核学习的彩色人脸识别方法

技术领域

本发明属于图像处理和模式识别技术领域，具体涉及基于典型相关多核学习的彩色人脸识别方法。

背景技术

现有的“基于彩色图像典型相关分析的人脸识别方法”(CICCA，X.Y.Jing,S.Li,C.Lan,D.Zhang,J.Y.Yang,and Q.Liu,“Color Image Canonical Correlation Analysisfor Face Feature Extraction and Recognition”,Signal Processing,vol.91,no.8,pp.2132-2140,2011)通过求解下面的优化问题使三个彩色分量人脸图像数据集典型相关：

其中，X、Y、Z分别表示R、G、B三个彩色分量人脸图像数据集，分别表示R、G、B三个彩色分量人脸图像数据集的投影向量。该问题可以转化为下面的三个广义特征方程进行求解：

该方法基于线性的典型相关分析技术，很难充分适应人脸图像复杂的非线性特性(例如，光照变化、表情变化、姿态变化等)，从而难以保证识别效果。

发明内容

发明目的：为克服现有技术的不足，非线性的核技术可以通过非线性核映射改变样本的分布，使原来线性空间中难以分离的样本在非线性核空间中可分离。另外，考虑到彩色人脸图像存在三个彩色分量(也可以看作三个光谱)，为了应对不同彩色分量的不同特性，将多核学习技术应用于彩色人脸图像，对彩色人脸图像的三个彩色分量分别使用三个不同的核映射，再通过典型相关多核学习对每一个彩色分量分别进行非线性特征提取，然后将每幅彩色人脸图像三个彩色分量的特征向量串联成一个列向量，最后使用基于余弦距离的最近邻分类器进行分类和识别。

在Face Recognition Grand Challenge(FRGC)version 2Experiment 4彩色人脸数据库(P.J.Phillips,P.J.Flynn,T.Scruggs,K.Bowyer,J.Chang,K.Hoffman,J.Marques,J.Min,and W.Worek,“Overview of the Face Recognition Grand Challenge”,IEEEConf.Computer Vision and Pattern Recognition,vol.1,pp.947-954,2005)上做仿真实验，证明基于典型相关多核学习的彩色人脸识别方法在人脸识别问题中的有效性。

本发明的技术方案如下：

对一个彩色人脸图像训练样本集X，令n表示所有彩色人脸图像训练样本的个数，c表示彩色人脸图像训练样本的类别数，n_k表示第k类彩色图像训练样本的个数，X_R∈R^d×n、X_G∈R^d×n、X_B∈R^d×n分别表示R、G、B三个彩色分量训练样本集，d表示彩色分量样本维数，表示X_i中第p类的第q个样本，i＝R,G,B。对于一个待识别样本y，令y_R∈R^d、y_G∈R^d、y_B∈R^d分别表示该样本的R、G、B三个彩色分量。令φ_R:R^d→H_R、φ_G:R^d→H_G、φ_B:R^d→H_B表示三个核映射，它们分别将R、G、B三个彩色分量样本从原始d维的线性空间R^d映射到三个非线性高维核空间H_R、H_G、H_B，k_i表示核映射φ_i对应的核函数，ω_i表示核函数k_i对应的多核组合系数，满足ω_i＞0且令和φ_i(y_i)分别表示核映射后的样本和y_i，φ_i(X_i)表示核映射后的彩色分量训练样本集X_i，表示φ_i(X_i)中所有样本的均值，表示中心化后的样本 表示中心化后的φ_i(X_i)，K_i＝(φ_i(X_i))^Tφ_i(X_i)表示对应φ_i(X_i)的核矩阵，表示对应的核矩阵，其中E_n∈R^n×n是一个所有元素都为1的方阵，表示对应φ_i(y_i)的核矩阵。令表示核空间H_i中i彩色分量样本对应的投影向量。根据核重构理论(J.S.Taylor,and N.Cristianini,“KernelMethods for Pattern Analysis”,Cambridge University Press,Cambridge,2004)，核空间H_i中的投影向量可以用φ_i(X_i)或线性表示，即其中u_i,v_i∈Rⁿ是两个线性表示系数向量，满足I_n∈R^n×n是一个单位矩阵。

步骤1，对于彩色分量训练样本集X_i(i＝R,G,B)，为了选择最优的核函数设计核函数选择准则如下：

其中，和分别表示X_i的类内相关性和类间相关性，定义如下：

是一个块对角矩阵，是一个所有元素值都为1的方阵，tr(·)表示方阵的迹，rank(K_i)表示矩阵K_i的秩。

步骤2，使用步骤1选择的三个最优核函数分别对三个彩色分量训练样本集X_R,X_G,X_B进行核映射，得到核矩阵K_R,K_G,K_B,

步骤3，定义核空间中i和j彩色分量样本特征集之间的典型相关性C_ij如下：

并定义目标函数如下：

通过轮流更新线性表示系数v_R,v_G,v_B和多核组合系数ω_R,ω_G,ω_B进行迭代求解，可以得到这两组系数的解，并通过可以得到u_R,u_G,u_B。

步骤4，彩色人脸图像训练样本集的最终特征表示如下：

待识别样本的最终特征表示如下：

计算到中每一个样本的余弦距离，将待识别样本y归到距离最小的那个训练样本所在的类。

有益效果

本发明采用以上技术方案与现有技术相比，具有以下有益效果：

本发明提供基于典型相关多核学习的彩色人脸识别方法，将多核学习技术应用于彩色人脸图像的典型相关分析，对三个彩色分量分别使用三个不同的核映射，再通过典型相关多核学习对三个彩色分量分别进行非线性特征提取。对于提取到的特征，使用基于余弦距离的最近邻分类器进行分类和识别。本发明识别效果更高，通过典型相关多核学习，彩色人脸特征的分类能力得到了明显增强。

附图说明

图1为人脸示例图片；

图2为20次随机测试识别率波动图。

具体实施方式

以下结合附图具体说明本发明的技术方案。

实验验证选用Face Recognition Grand Challenge(FRGC)version 2Experiment4彩色人脸数据库(P.J.Phillips,P.J.Flynn,T.Scruggs,K.Bowyer,J.Chang,K.Hoffman,J.Marques,J.Min,and W.Worek,“Overview of the Face Recognition GrandChallenge”,IEEE Conf.Computer Vision and Pattern Recognition,vol.1,pp.947-954,2005)。该数据库规模较大，包含了training、target、query三个子库，training子库包含222个人的12776张图片，target子库包含466个人的16028张图片，query子库包含466个人的8014张图片。实验选用了training子库的222个人，每个人36幅图像。所有选中的原始图像都进行了校正(使两眼处于水平位置)、缩放和裁剪，每个图像样本只保留60×60大小的人脸及附近区域。处理后的人脸示例图片见图1。

在实验数据库中，每个类别随机选择8个彩色人脸图像样本作为训练样本，其余样本作为待识别样本，进行20次随机测试。对于每个彩色分量样本集，按照公式(1)的核函数选择准则从以下六种常用的核函数中挑选最优的核函数：

(1)Linear Kernel：k(x,y)＝x^Ty；

(2)Polynomial Kernel：k(x,y)＝(ax^Ty+b)^p，其中，a＞0,b＞0,p是核参数，p取值为自然数；

(3)Gaussian Kernel：k(x,y)＝exp(-||x-y||²/σ)，其中σ＞0是核参数；

(4)Cauchy Kernel：其中σ＞0是核参数；

(5)Inverse Multi-quadric Kernel：其中，c≥0是核参数；

(6)Generalized T-Student Kernel：其中p≥0是核参数。

经过核函数选择，最终R、G、B三个彩色分量都使用Polynomial Kernel，其中，R和G分量的三个参数都是a＝10^-9,b＝0.1,p＝1，B分量的三个参数分别是a＝10^-8,b＝0.1,p＝1。

图2和表1显示了CICCA方法和基于典型相关多核学习的彩色人脸识别方法(即图中的CCMKL方法)20次随机测试的识别效果。在图2中，横坐标是随机测试的序号，纵坐标为识别率(＝正确识别的待识别样本个数/待识别样本总数)。与CICCA方法相比，基于典型相关多核学习的彩色人脸识别方法的识别率明显更高一些，这说明多核学习使特征的分类能力得到了增强。

表1 20次随机测试的平均识别率和标准差

方法名称	识别率(均值和标准差，％)
		CICCA	79.55±1.87
CCMKL	82.32±1.76

Claims (1)

1.基于典型相关多核学习的彩色人脸识别方法，其特征在于，对一个彩色人脸图像训练样本集X，令n表示所有彩色人脸图像训练样本的个数，c表示彩色人脸图像训练样本的类别数，n_k表示第k类彩色图像训练样本的个数，X_R∈R^d×n、X_G∈R^d×n、X_B∈R^d×n分别表示R、G、B三个彩色分量训练样本集，d表示彩色分量样本维数，表示X_i中第p类的第q个样本，i＝R,G,B；对于一个待识别样本y，令y_R∈R^d、y_G∈R^d、y_B∈R^d分别表示该样本的R、G、B三个彩色分量；令φ_R:R^d→H_R、φ_G:R^d→H_G、φ_B:R^d→H_B表示三个核映射，它们分别将R、G、B三个彩色分量样本从原始d维的线性空间R^d映射到三个非线性高维核空间H_R、H_G、H_B，k_i表示核映射φ_i对应的核函数，ω_i表示核函数k_i对应的多核组合系数，满足ω_i＞0且令和φ_i(y_i)分别表示核映射后的样本和y_i，φ_i(X_i)表示核映射后的彩色分量训练样本集X_i，表示φ_i(X_i)中所有样本的均值，表示中心化后的样本 表示中心化后的φ_i(X_i)，K_i＝(φ_i(X_i))^Tφ_i(X_i)表示对应φ_i(X_i)的核矩阵，表示对应的核矩阵，其中E_n∈R^n×n是一个所有元素都为1的方阵，表示对应φ_i(y_i)的核矩阵；令表示核空间H_i中i彩色分量样本对应的投影向量；核空间H_i中的投影向量用φ_i(X_i)或线性表示，即其中u_i,v_i∈Rⁿ是两个线性表示系数向量，满足I_n∈R^n×n是一个单位矩阵，具体步骤如下：

步骤1、对于彩色分量训练样本集X_i(i＝R,G,B)，为了选择最优的核函数设计核函数选择准则如下：

$\begin{array}{c}{k}_i^{*}=\arg \underset{k_i}{\max }(C_w^i-C_b^i)\\ \begin{array}{cc}s.t.& rank\left(K_i\right)=n\end{array}\end{array}---\left(1\right)$

其中，和分别表示X_i的类内相关性和类间相关性，定义如下：

$\begin{array}{c}{C}_w^i=\frac{(1/\underset{p=1}{\overset{c}{\Σ}}{n}_p^2)\underset{p=1}{\overset{c}{\Σ}}\underset{r=1}{\overset{n_p}{\Σ}}\underset{t=1}{\overset{n_p}{\Σ}}{\[{\mathrm{\φ}}_i\left(x_{pt}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}^T\[{\mathrm{\φ}}_i\left(x_{pr}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}{\sqrt{\frac{1}{n}\underset{p=1}{\overset{c}{\Σ}}\underset{r=1}{\overset{n_p}{\Σ}}{\[{\mathrm{\φ}}_i\left(x_{pr}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}^T\[{\mathrm{\φ}}_i\left(x_{pr}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}\sqrt{\frac{1}{n}\underset{p=1}{\overset{c}{\Σ}}\underset{r=1}{\overset{n_p}{\Σ}}{\[{\mathrm{\φ}}_i\left(x_{pt}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}^T\[{\mathrm{\φ}}_i\left(x_{pt}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}}\\ ==\frac{n\underset{p=1}{\overset{c}{\Σ}}\underset{r=1}{\overset{n_p}{\Σ}}\underset{t=1}{\overset{n_p}{\Σ}}tr\left({\hat{x}}_{pr}^{\mathrm{\φ}i}{\hat{x}}_{pt}^{\mathrm{\φ}iT}\right)}{\left(\underset{p=1}{\overset{c}{\Σ}}{n}_p^2\right)\underset{p=1}{\overset{c}{\Σ}}\underset{r=1}{\overset{n_p}{\Σ}}tr\left({\hat{x}}_{pr}^{\mathrm{\φ}i}{\hat{x}}_{pr}^{\mathrm{\φ}iT}\right)}=\frac{n\·tr\left({\hat{X}}_i^{\mathrm{\φ}}M{\hat{X}}_i^{\mathrm{\φ}T}\right)}{\left(\underset{p=1}{\overset{c}{\Σ}}{n}_p^2\right)tr\left({\hat{X}}_i^{\mathrm{\φ}}{\hat{X}}_i^{\mathrm{\φ}T}\right)}=\frac{n\·tr\left(M{\hat{X}}_i^{\mathrm{\φ}T}{\hat{X}}_i^{\mathrm{\φ}}\right)}{\left(\underset{p=1}{\overset{c}{\Σ}}{n}_p^2\right)tr\left({\hat{X}}_i^{\mathrm{\φ}T}{\hat{X}}_i^{\mathrm{\φ}}\right)}\\ =\frac{n\·tr\left(M{\hat{K}}_i\right)}{\left(\underset{p=1}{\overset{c}{\Σ}}{n}_p^2\right)tr\left({\hat{K}}_i\right)}\end{array}---\left(2\right)$

$\begin{array}{c}{C}_b^i=\frac{\[1/(n^2-\underset{p=1}{\overset{c}{\Σ}}{n}_p^2)\]\underset{p=1}{\overset{c}{\Σ}}\underset{q\≠p}{\overset{c}{\underset{q=1}{\Σ}}}\underset{r=1}{\overset{n_p}{\Σ}}\underset{t=1}{\overset{n_q}{\Σ}}{\[{\mathrm{\φ}}_i\left(x_{qt}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}^T\[{\mathrm{\φ}}_i\left(x_{pr}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}{\sqrt{\frac{1}{n}\underset{p=1}{\overset{c}{\Σ}}\underset{r=1}{\overset{n_p}{\Σ}}{\[{\mathrm{\φ}}_i\left(x_{pr}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}^T\[{\mathrm{\φ}}_i\left(x_{pr}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}\sqrt{\frac{1}{n}\underset{q=1}{\overset{c}{\Σ}}\underset{t=1}{\overset{n_p}{\Σ}}{\[{\mathrm{\φ}}_i\left(x_{qt}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}^T\[{\mathrm{\φ}}_i\left(x_{qt}^i\right)-{\stackrel{\‾}{x}}_i^{\mathrm{\φ}}\]}}\\ =\frac{n\underset{p=1}{\overset{c}{\Σ}}\underset{q\≠p}{\overset{c}{\underset{q=1}{\Σ}}}\underset{r=1}{\overset{n_p}{\Σ}}\underset{t=1}{\overset{n_q}{\Σ}}tr\left({\hat{x}}_{pr}^{\mathrm{\φ}i}{\hat{x}}_{pt}^{\mathrm{\φ}iT}\right)}{(n^2-\underset{p=1}{\overset{c}{\Σ}}{n}_p^2)\underset{p=1}{\overset{c}{\Σ}}\underset{r=1}{\overset{n_p}{\Σ}}tr\left({\hat{x}}_{pr}^{\mathrm{\φ}i}{\hat{x}}_{pr}^{\mathrm{\φ}iT}\right)}=\frac{n\[\underset{p=1}{\overset{c}{\Σ}}\underset{q\≠p}{\overset{c}{\underset{q=1}{\Σ}}}\underset{r=1}{\overset{n_p}{\Σ}}\underset{t=1}{\overset{n_q}{\Σ}}tr\left({\hat{x}}_{pr}^{\mathrm{\φ}i}{\hat{x}}_{qt}^{\mathrm{\φ}iT}\right)-\underset{p=1}{\overset{c}{\Σ}}\underset{r=1}{\overset{n_p}{\Σ}}\underset{t=1}{\overset{n_p}{\Σ}}tr\left({\hat{x}}_{pr}^{\mathrm{\φ}i}{\hat{x}}_{pt}^{\mathrm{\φ}iT}\right)\]}{(n^2-\underset{p=1}{\overset{c}{\Σ}}{n}_p^2)\underset{p=1}{\overset{c}{\Σ}}\underset{r=1}{\overset{n_p}{\Σ}}tr\left({\hat{x}}_{pr}^{\mathrm{\φ}i}{\hat{x}}_{pt}^{\mathrm{\φ}iT}\right)}\\ =\frac{-n\·tr\left({\hat{X}}_i^{\mathrm{\φ}}M{\hat{X}}_i^{\mathrm{\φ}T}\right)}{(n^2-\underset{p=1}{\overset{c}{\Σ}}{n}_p^2)tr\left({\hat{X}}_i^{\mathrm{\φ}}{\hat{X}}_i^{\mathrm{\φ}T}\right)}=\frac{-n\·tr\left(M{\hat{K}}_i\right)}{(n^2-\underset{p=1}{\overset{c}{\Σ}}{n}_p^2)tr\left({\hat{K}}_i\right)}\end{array}---\left(3\right)$

是一个块对角矩阵，是一个所有元素值都为1的方阵，tr(·)表示方阵的迹，rank(K_i)表示矩阵K_i的秩；

步骤2、使用步骤1选择的三个最优核函数分别对三个彩色分量训练样本集X_R,X_G,X_B进行核映射，得到核矩阵

步骤3、定义核空间中i和j彩色分量样本特征集之间的典型相关性C_ij如下：

并定义目标函数如下：

$\begin{array}{cc}\underset{{\mathrm{\ω}}_R,{\mathrm{\ω}}_G,{\mathrm{\ω}}_B}{\underset{v_R,v_G,v_B}{\max }}& {\mathrm{\ω}}_R{\mathrm{\ω}}_G{v}_R^T{\hat{K}}_R{\hat{K}}_G{v}_G+{\mathrm{\ω}}_G{\mathrm{\ω}}_B{v}_G^T{\hat{K}}_G{\hat{K}}_B{v}_B+{\mathrm{\ω}}_B{\mathrm{\ω}}_R{v}_B^T{\hat{K}}_B{\hat{K}}_R{v}_R\\ s.t.& {\mathrm{\ω}}_R^2{v}_R^T{\hat{K}}_R{\hat{K}}_R{v}_R=1,{\mathrm{\ω}}_G^2{v}_G^T{\hat{K}}_G{\hat{K}}_G{v}_G=1,{\mathrm{\ω}}_B^2{v}_B^T{\hat{K}}_B{\hat{K}}_B{v}_B=1\\ & {\mathrm{\ω}}_R+{\mathrm{\ω}}_G+{\mathrm{\ω}}_B=1,{\mathrm{\ω}}_R>0,{\mathrm{\ω}}_G>0,{\mathrm{\ω}}_B>0\end{array}---\left(5\right)$

通过轮流更新线性表示系数v_R,v_G,v_B和多核组合系数ω_R,ω_G,ω_B进行迭代求解，可以得到这两组系数的解，并通过可以得到u_R,u_G,u_B；

步骤4、彩色人脸图像训练样本集的最终特征表示如下：

待识别样本的最终特征表示如下：

计算到中每一个样本的余弦距离，将待识别样本y归到距离最小的那个训练样本所在的类。