CN103761511B - 基于rgb彩色特征双重流形鉴别分析的彩色人脸识别方法 - Google Patents

Abstract

本发明公开了基于RGB彩色特征双重流形鉴别分析的彩色人脸识别方法，属于图像识别的技术领域，假设每一类的所有彩色分量样本构成一个非线性的流形，使用基于欧式距离的分层K‑means算法在每个流形上划分局部线性模型；构造内部图和惩罚图，定义内部图和惩罚图的相似性矩阵；定义目标函数并求解，得到投影后的训练样本特征集和投影后的测试样本特征；计算测试样本特征到训练样本特征的欧式距离后将其归到距离最小的那个训练样本所在的类。本发明将流形鉴别分析技术同时应用到R、G、B三个彩色分量内部和三个彩色分量之间，在各个彩色分量内部和不同彩色分量之间实现特征层双重流形鉴别分析,增强了鉴别特征的分类能力。

Description

基于RGB彩色特征双重流形鉴别分析的彩色人脸识别方法

技术领域

本发明公开了基于RGB彩色特征双重流形鉴别分析的彩色人脸识别方法，属于图像识别的技术领域。

背景技术

现有的彩色人脸识别方法有：整体正交分析（HOA，Holistic OrthogonalAnalysis）、统计正交分析（SOA，Statistically Orthogonal Analysis）。整体正交分析将R、G、B三组彩色分量特征内部的鉴别分析和三组彩色分量特征之间的正交去相关结合在一起，按照RGB的顺序串行依次对每一个彩色分量计算一个投影变换。统计正交分析将R、G、B三组彩色分量特征内部的鉴别分析和三组彩色分量特征之间的统计正交去相关结合在一起，按照RGB的顺序串行依次对每一个彩色分量计算一个投影变换。

HOA和SOA方法虽然实现了R、G、B三个彩色分量内部的鉴别分析，这对于分类识别是有利的；但它们在处理三个彩色分量之间的相关性时，只是简单地通过正交或统计正交来去除三个彩色分量之间的相关性，没有从识别或鉴别的角度来处理这种相关性，从而使得获取的鉴别信息相对较少，识别效果难以保证。

其次，无论是对三个彩色分量内部进行鉴别分析还是处理三个彩色分量之间相关性的时候，HOA和SOA方法都没有考虑图像样本本身所固有的局部流形结构。根据流形学习理论，局部流形结构比全局欧式结构更重要。

最后，SOA在统计正交约束中使用了相关性度量，而在三个彩色分量内部的鉴别分析中使用的是欧式距离度量。不同的度量方式影响识别效果的方式是不同的，这种度量方式的不一致也使得难以保证识别效果。

发明内容

为解决上述问题，本发明公开了基于RGB彩色特征双重流形鉴别分析的人脸识别方法。

本发明为实现上述发明目的采用如下技术方案：

基于RGB彩色特征双重流形鉴别分析的人脸识别方法，利用包含R、G、B三个彩色分量训练样本集X_R、X_G、X_B的c类彩色图像训练样本进行训练，c为自然数，将待识别人脸图像划分到所属彩色图像训练样本类别，包括如下步骤。

步骤1，假设每一类彩色图像训练样本的所有彩色分量样本构成一个非线性的流形，使用基于欧式距离的分层K-means算法将每一个非线性流形划分为若干个局部线性模型，具体方法如下：

步骤1-1，划分第1层的局部线性模型：在所述每一个非线性流形上，计算每一个彩色分量的所有训练样本的均值作为第1层局部线性模型的初始中心样本，计算各个彩色分量训练样本与初始中心样本的欧氏距离，将各个彩色分量训练样本划分到欧氏距离最小的中心样本所在的第1层局部线性模型上；

步骤1-2，计算第L层局部线性模型上任意两个彩色分量训练样本之间的测地距离和欧氏距离，将测地距离与欧氏距离比值的平均值大于阈值δ（δ是一个可根据实验结果进行调整的参数）的局部线性模型作为第L层需要继续划分的局部线性模型，以集合M^L记第L层需要继续划分的所有局部线性模型，按照步骤1-3的方法对集合M^L里每一个元素继续划分，L的起始值为2；

步骤1-3，在第L层需要继续划分的局部线性模型中，以欧氏距离最远的两个彩色分量训练样本作为第L+1层局部线性模型的初始中心样本，计算各个彩色分量训练样本与中心样本的欧氏距离，将各个彩色分量训练样本划分到距离最小的中心样本所在的第L+1层局部线性模型上；L值加1，返回步骤1-2。

步骤2，利用扩展流形鉴别分析方法得到目标函数，求解目标函数得到投影后的训练样本特征集以及投影后的待识别样本特征：

根据流形和流形上的局部线性模型划分，定义内部图G如下：如果两个彩色分量样本属于同一个局部线性模型，这两个彩色分量样本点之间有一条实边；如果两个彩色分量样本位于同一个流形上，但不属于同一个局部线性模型，这两个彩色分量样本点之间有一条虚边，定义惩罚图G'如下：如果两个彩色分量样本分别属于不同流形但邻近的两个局部线性模型，这两个彩色分量样本点之间有一条虚边，这里的邻近指的是这两个样本点至少有一个是另一个的K近邻，K等于这两个彩色分量样本点所在的两个局部线性模型上的样本数之和，

根据内部图和惩罚图的结构，定义内部图的相似性矩阵W∈R^3n×3n：

以及惩罚图的相似性矩阵

式（1）、（2）中，p,q=1,2,…,3n，n表示所有彩色图像训练样本的个数，t是一个可根据实验结果进行调整的参数，对应W和定义内部图对角矩阵D：

$D_{\mathrm{pp}}=\underset{q=1}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{pq}}---\left(3\right),$

和惩罚图的对角矩阵

${\stackrel{\‾}{D}}_{\mathrm{pp}}=\underset{q=1}{\overset{n}{\mathrm{\Σ}}}{\stackrel{\‾}{W}}_{\mathrm{pq}}---\left(4\right).$

令内部图的Laplacian矩阵L_w：

L_w=D-W （5），以及惩罚图的Laplacian矩阵L_b：

$L_b=\stackrel{\‾}{D}-\stackrel{\‾}{W}---\left(6\right),$

定义目标函数如下：

$\max J(w_R,w_G,w_B)=\frac{{\mathrm{FL}}_b{F}^T}{{\mathrm{FL}}_w{F}^T}---\left(7\right),$

其中，X_R、X_G、X_B分别表示R、G、B三个彩色分量训练样本集，w_R、w_G、w_B分别表示X_R、X_G、X_B的投影向量。

将目标函数简写为：

$\max J\left(w\right)=\frac{w^T\mathrm{Pw}}{w^T\mathrm{Qw}}---\left(8\right),$

其中， $P\left[\begin{array}{ccc}{X}_R{L}_b^{\mathrm{RR}}{X}_R^T& X_R{L}_b^{\mathrm{RG}}{X}_G^T& X_R{L}_b^{\mathrm{RB}}{X}_B^T\\ X_G{L}_b^{\mathrm{GR}}{X}_R^T& X_G{L}_b^{\mathrm{GG}}{X}_G^T& X_G{L}_b^{\mathrm{GB}}{X}_B^T\\ X_B{L}_b^{\mathrm{BR}}{X}_R^T& X_B{L}_b^{\mathrm{BG}}{X}_G^T& X_B{L}_b^{\mathrm{BB}}{X}_B^T\end{array}\right],Q=\left[\begin{array}{ccc}{X}_R{L}_w^{\mathrm{RR}}{X}_R^T& X_R{L}_w^{\mathrm{RG}}{X}_G^T& X_R{L}_w^{\mathrm{RB}}{X}_B^T\\ X_G{L}_w^{\mathrm{GR}}{X}_R^T& X_G{L}_w^{\mathrm{GG}}{X}_G^T& X_G{L}_w^{\mathrm{GB}}{X}_B^T\\ X_B{L}_w^{\mathrm{BR}}{X}_R^T& X_B{L}_w^{\mathrm{BG}}{X}_G^T& X_B{L}_w^{\mathrm{BB}}{X}_B^T\end{array}\right],$ $w=\left[\begin{array}{c}{w}_R\\ w_G\\ w_B\end{array}\right],$ $L_w^{\mathrm{lm}}\∈R^{n\×n}(l,m=R,G,B)$ 和 $L_b^{\mathrm{lm}}\∈R^{n\×n}(l,m=R,G,B)$ 满足 $L_w=\left[\begin{array}{ccc}{L}_w^{\mathrm{RR}}& L_w^{\mathrm{RG}}& L_w^{\mathrm{RB}}\\ L_w^{\mathrm{GR}}& L_w^{\mathrm{GG}}& L_w^{\mathrm{GB}}\\ L_w^{\mathrm{BR}}& L_w^{\mathrm{BG}}& L_w^{\mathrm{BB}}\end{array}\right]$ 和 $L_b=\left[\begin{array}{ccc}{L}_b^{\mathrm{RR}}& L_b^{\mathrm{RG}}& L_b^{\mathrm{RB}}\\ L_b^{\mathrm{GR}}& L_b^{\mathrm{GG}}& L_b^{\mathrm{GB}}\\ L_b^{\mathrm{BR}}& L_b^{\mathrm{BG}}& L_b^{\mathrm{BB}}\end{array}\right].$

目标函数的解w^*可以通过对Q^-1P矩阵进行特征分解得到，当已经得到Q^-1P矩阵的前d个最大特征值对应的特征向量w^k(k=1,2,…,d)时，可以很容易从w^k中得到这里d是一个可根据实验结果进行调整的参数。

W_R、W_G、W_B分别表示X_R、X_G、X_B的投影向量集，令 $W_G=[w_G^1,w_G^2,\·\·\·,w_G^d],W_B=[w_B^1,w_B^2,\·\·\·,w_B^d],$ 可以得到投影后的训练样本特征集Z如下：

$Z={[{\left(W_R^T{X}_R\right)}^T,{\left(W_G^T{X}_G\right)}^T,{\left(W_B^T{X}_B\right)}^T]}^T---\left(9\right),$

对于待识别样本可以得到投影后的待识别样本特征z_y如下：

$z_y={[{\left(W_R^T{y}_R\right)}^T,{\left(W_G^T{y}_G\right)}^T,{\left(W_B^T{y}_B\right)}^T]}^T---\left(10\right).$

步骤3，计算投影后的待识别样本特征z_y到投影后的每一个训练样本特征的欧氏距离，将待识别样本y归到欧氏距离最小的训练样本所在类。

本发明采用上述技术方案，具有以下有益效果：将流形鉴别分析技术同时应用到R、G、B三个彩色分量内部和三个彩色分量之间，在各个彩色分量内部和不同彩色分量之间实现特征层双重流形鉴别分析，获取的鉴别信息多，分类正确率高，识别能力强。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明实验验证选用Face Recognition Grand Challenge（FRGC）version2Experiment4彩色人脸数据库。该数据库规模较大，包含了training、target、query三个子库，training子库包含222个人的12776张图片，target子库包含466个人的16028张图片，query子库包含466个人的8014张图片。实验从training子库中挑选了前100个人，每个人36幅图片。实验对所有选中的原始图片进行了校正（使两眼处于水平位置）、缩放和裁剪，每个图片样本只保留60×60大小的人脸及附近区域。实验中每个人选择18幅图片作为训练样本、其余图片作为测试样本（即为待识别人脸图像）。

实验统计HOA、SOA和基于RGB彩色特征双重流形鉴别分析的彩色人脸识别方法的平均识别率，见表1。与HOA和SOA方法相比，基于RGB彩色特征双重流形鉴别分析的彩色人脸图像识别方法（即表1中的CDMDA方法）的识别效果更好，这说明对RGB彩色分量特征进行双重流形鉴别分析后，鉴别特征的分类能力得到了增强。

表1 HOA、SOA和CDMDA方法的平均识别率

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (2)

1.基于RGB彩色特征双重流形鉴别分析的彩色人脸识别方法，利用包含三个彩色分量训练样本集的c类彩色图像训练样本进行训练，将待识别人脸图像划分到所属彩色图像训练样本类别，c为自然数，其特征在于包括如下步骤：

步骤1，使用基于欧式距离的分层K-means算法将每一类彩色图像训练样本的所有彩色分量构成的非线性流形划分为若干个局部线性模型，具体为：

步骤1-1，划分第1层的局部线性模型：在每一个非线性流形上，计算每一个彩色分量的所有训练样本的均值作为第1层局部线性模型的初始中心样本，计算各个彩色分量训练样本与初始中心样本的欧氏距离，将各个彩色分量训练样本划分到欧氏距离最小的中心样本所在的第1层局部线性模型上，

步骤1-2，计算第L层局部线性模型上任意两个彩色分量训练样本之间的测地距离和欧氏距离，将测地距离与欧氏距离比值的平均值大于阈值的局部线性模型作为第L层需要继续划分的局部线性模型，进入步骤1-3，L的起始值为2，

步骤1-3，在第L层需要继续划分的局部线性模型中，以欧氏距离最远的两个彩色分量训练样本作为第L+1层局部线性模型的初始中心样本，计算各个彩色分量训练样本与中心样本的欧氏距离，将各个彩色分量训练样本划分到距离最小的中心样本所在的第L+1层局部线性模型上，L值加1，返回步骤1-2；

步骤2，利用扩展流形鉴别分析方法得到目标函数，求解目标函数得到投影后的训练样本特征集以及投影后的待识别样本特征；

步骤3，计算投影后的待识别样本特征到投影后的每一个训练样本特征的欧氏距离，将待识别样本归到欧氏距离最小的训练样本所在类。

2.根据权利要求1所述的彩色人脸识别方法，其特征在于步骤2由目标函数：确定投影后的训练样本特征集Z：和投影后的待识别样本特征z_y：其中：X_R、X_G、X_B分别表示R、G、B三个彩色分量训练样本集，w_R、w_G、w_B分别表示X_R、X_G、X_B的投影向量，W_R、W_G、W_B分别表示X_R、X_G、X_B的投影向量集，L_b、L_w为内部图、惩罚图的Laplacian矩阵，y_R、y_G、y_B分别表示待识别样本的R、G、B三个彩色分量样本。