CN103116758B

CN103116758B - 基于rgb彩色特征双重鉴别分析的彩色人脸识别方法

Info

Publication number: CN103116758B
Application number: CN201310039790.XA
Authority: CN
Inventors: 刘茜; 周媛; 王新蕾
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Shanghai Airlines Intellectual Property Services Ltd; Shanghai Zihui Information Technology Co ltd
Priority date: 2013-02-01
Filing date: 2013-02-01
Publication date: 2016-03-30
Anticipated expiration: 2033-02-01
Also published as: CN103116758A

Abstract

本发明公开了一种彩色人脸识别方法，将鉴别分析技术同时应用到R、G、B三个彩色分量内部和三个彩色分量之间，在各个彩色分量内部和不同彩色分量之间实现基于欧式距离的特征层双重鉴别分析，获取的鉴别信息多，分类正确率高，识别能力强。本发明提供的基于RGB彩色特征双重鉴别分析的彩色人脸识别方法包括：首先获得训练样本集，定义训练样本集内部的类内特征散布矩阵和类间特征散布矩阵与各彩色分量训练样本集之间的类内特征散布矩阵和类间特征散布矩阵；定义目标函数并对目标函数求解，得到投影后的训练样本特征集；根据上述投影后的训练样本特征集，得出投影后的测试样本特征，计算测试样本特征到每个训练样本特征的欧式距离后将其归类。

Description

基于RGB彩色特征双重鉴别分析的彩色人脸识别方法

技术领域

本发明属于人脸识别技术领域，尤其是涉及一种基于RGB彩色特征双重鉴别分析的彩色人脸识别方法。

背景技术

人脸识别是指计算机根据一定的算法，对新获得的图像与计算机中已有的图像库进行匹配比较后，做出测试图像中身份判断的识别过程。人脸识别研究是一个跨越了图像处理、模式识别、计算机视觉、以及神经生理学、心理学等研究领域的学科。人脸识别近十几年来的研究非常活泼，是当前图像工程领域的四大研究热点之一，它属于生物鉴别技术的一部分。生物识别技术是指通过对人体特征的数字化测量来进行身份鉴别。如指纹、掌纹、人脸、声音、虹膜、DNA、签名、耳纹、步态等特征都可被用来尝试进行身份的鉴定研究。在人的各种形式的生物特征中，人脸是一个人区别于他人的最自然、最主要的特征。人脸特征同时还具有唯一性，一个人与他人的脸部特征是不同的，即使是双胞胎的人脸也有区别，这说明用人脸区分不同的人是合理可行的。另一方面，人脸图像相对于其他生物特征来说更容易获取，法律上也没有障碍。

人类通过脸部特征来确认和区别不同的人是一件很轻松的事情，但对于计算机来说却是一个极其具有挑战性的任务。原因主要有，人脸结构都是相似的，不同人的脸部图像在图像控件中距离非常接近，这也正是人脸检测得以实施的主要原因，但对模式分类确实是非常不利的。人脸是一个非刚性的物体，在不同阶段，不同获取环境下在计算机中的表示方式可能不一样，因此对人脸的最终识别也会带来误导。从模式识别的角度来说，人脸识别属于一个大类别的识别问题，全球有60多亿人口，并且在不断的增加着，类别数越多，识别的难度越大。同一个人的图像是有各种变化的，人有喜、怒、哀、乐的表情变化，这样导致一个人的测试图像与存储库中的图像不一致，影响正确的判断。尽管现在已有一些人脸识别的方法，但与实际应用的要求及问题的真正解决还有相当的距离。同时，对于如何表述人脸的特征，也是一个具有挑战性的问题。

目前，大多数人脸识别方法都是基于灰度人脸图像的研究发现，而利用彩色信息相对于仅研究灰度图像能进一步提高人脸图像的识别率，因此越来越多的研究者开始利用人脸图像的彩色信息来提高人脸识别算法的性能。近年来，研究彩色人脸图像识别的方法大多数并不是直接对彩色人脸图像进行处理。Creed等人在他们的彩色人脸识别研究中，首先将彩色人脸图像变换到单一的灰度图像模式，然后基于灰度图像进行彩色人脸的识别。在后来的研究中，Torres等人将传统的主成分分析算法拓展到彩色人脸识别研究:首先将彩色人脸的三个颜色通道分别表示成向量的形式，然后在每个颜色通道上进行人脸的分类，最后融合三个通道的分类结果作为最终的彩色人脸识别结果。Yang等人提出了一种统一的彩色人脸识别模型，这种模型采用一组彩色分量的组合系数来表示人脸，通过这组组合系数将彩色人脸的三个颜色通道变换到一个通道，最后以一维向量的形式来表示彩色人脸，并用于最后的彩色人脸识别。

现有的彩色人脸识别算法中，虽然能实现三个彩色分量内部的鉴别分析，但在处理三个彩色分量之间的相关性时，没有从识别或鉴别的角度来处理这种相关性，从而使得获取的鉴别信息相对较少，识别效果难以保证。

以如下两种算法为例:

整体正交分析（HOA）[1]将R、G、B三组彩色分量特征内部的鉴别分析和三组彩色分量特征之间的正交去相关结合在一起，按照RGB的顺序串行依次对每一个彩色分量计算一个投影变换。具体做法如下：

\max J (W_{R}) = \frac{| W_{R}^{T} S_{bR} W_{R} |}{| W_{R}^{T} S_{wR} W_{R} |};

\max J (W_{G}) = \frac{| W_{G}^{T} S_{bG} W_{G} |}{| W_{G}^{T} S_{wG} W_{G} |};

s . t . W_{G}^{T} W_{R} = 0

\max J (W_{B}) = \frac{| W_{B}^{T} S_{bB} W_{B} |}{| W_{B}^{T} S_{wB} W_{B} |} .

s . t . W_{B}^{T} W_{R} = 0,

W_{B}^{T} W_{G} = 0

其中，W_R、W_G、W_B分别是待求的R、G、B三个彩色分量的投影变换，S_bR、S_bG、S_bB分别是R、G、B三个彩色分量样本集的类间散布矩阵，S_wR、S_wG、S_wB分别是R、G、B三个彩色分量样本集的类内散布矩阵，|·|表示方阵行列式的值。W_R、W_G、W_B依次由矩阵

S_{wG}^{- 1} (I - W_{R} {(W_{R}^{T} S_{wG}^{- 1} W_{R})}^{- 1} W_{R}^{T} S_{wG}^{- 1}) S_{bG},

S_{wB}^{- 1} (I - W {(W^{T} S_{wB}^{- 1} W)}^{- 1} W^{T} S_{wB}^{- 1}) S_{bB}

的非零特征值对应的特征向量构成，其中W＝[W_R，W_G]。

HOA方法实现了R、G、B三个彩色分量内部的鉴别分析，这对于分类识别是有利的；但在处理三个彩色分量之间的相关性时，只是简单地通过正交来去除三个彩色分量之间的相关性，没有从鉴别的角度来处理这种相关性。

统计正交分析（SOA）[2]将R、G、B三组彩色分量特征内部的鉴别分析和三组彩色分量特征之间的统计正交去相关结合在一起，按照RGB的顺序串行依次对每一个彩色分量计算一个投影变换。具体做法如下：

\max J (W_{R}) = \frac{| W_{R}^{T} S_{bR} W_{R} |}{| W_{R}^{T} S_{wR} W_{R} |};

\max J (W_{G}) = \frac{| W_{G}^{T} S_{bG} W_{G} |}{| W_{G}^{T} S_{wG} W_{G} |};

s . t . W_{G}^{T} \sqrt{S_{tG}} {(\sqrt{S_{tR}})}^{T} W_{R} = 0

\max J (W_{B}) = \frac{| W_{B}^{T} S_{bB} W_{B} |}{| W_{B}^{T} S_{wB} W_{B} |}

s . t . W_{B}^{T} \sqrt{S_{tB}} {(\sqrt{S_{tR}})}^{T} W_{R} = 0 .

W_{B}^{T} \sqrt{S_{tB}} {(\sqrt{S_{tG}})}^{T} W_{G} = 0

其中，S_tR、S_tG、S_tB分别是R、G、B三个彩色分量样本集的总体散布矩阵，表示矩阵M满足W_R、W_G、W_B依次由矩阵的非零特征值对应的特征向量构成，其中

W_{2} = [\sqrt{S_{tB}} {(\sqrt{S_{tR}})}^{T} W_{R}, \sqrt{S_{tB}} {(\sqrt{S_{tG}})}^{T} W_{G}] .

与HOA相似、SOA方法只是通过统计正交来去除三个彩色分量之间的相关性，也没有从识别或鉴别的角度来处理这种相关性。此外，SOA方法还在统计正交约束中使用了相关性度量，而在三个彩色分量内部的鉴别分析中使用的是欧式距离度量。不同的度量方式影响识别效果的方式是不同的，这种度量方式的不一致也使得难以保证识别效果。

发明内容

为解决上述问题，本发明公开了一种彩色人脸识别方法，将鉴别分析技术同时应用到R、G、B三个彩色分量内部和三个彩色分量之间，在各个彩色分量内部和不同彩色分量之间实现基于欧式距离的特征层双重鉴别分析。

为了达到上述目的，本发明提供如下技术方案：

一种基于RGB彩色特征双重鉴别分析的彩色人脸识别方法，包括如下步骤：

首先获取训练样本集，令X_R、X_G、X_B分别表示R、G、B三个彩色分量训练样本集，w_R、w_G、w_B分别表示X_R、X_G、X_B的投影向量，c表示彩色图像训练样本的类别数，n_k表示第k类彩色图像训练样本的个数，n表示所有彩色图像训练样本的个数，表示第i个彩色分量训练样本集X_i中第p类的第q个样本，表示一个n_k阶单位阵，I_n表示一个n阶单位阵，表示一个n_k阶所有元素都为1的方阵，E_n表示一个n阶所有元素都为1的方阵，

A = [\begin{matrix} E_{n_{1}} & 0 & . . . & 0 \\ 0 & E_{n_{2}} & . . . & 0 \\ . & . & . \\ . & . & . . . & . \\ . & . & . \\ 0 & 0 & . . . & E_{n_{c}} \end{matrix}] &Element; R^{n \times n},

F = [\begin{matrix} n_{1} I_{n_{1}} & 0 & . . . & 0 \\ 0 & n_{2} I_{n_{2}} & . . . & 0 \\ . & . & . \\ . & . & . . . & . \\ . & . & . \\ 0 & 0 & . . . & n_{c} I_{n_{c}} \end{matrix}] &Element; R^{n \times n} .

定义第i个彩色分量训练样本集内部的类内特征散布矩阵和类间特征散布矩阵与第i和第j个彩色分量训练样本集之间的类内特征散布矩阵和类间特征散布矩阵如下：

S_{w}^{i} = \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{p}} {(w_{i}^{T} x_{pr}^{i} - w_{i}^{T} x_{pt}^{i}) (w_{i}^{T} x_{pr}^{i} - w_{i}^{T} x_{pt}^{i})}^{T}

= \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} [Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{p}} {(e_{pr} - e_{pt}) (e_{pr} - e_{pt})}^{T}] X_{i}^{T} w_{i}

(1)

= \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} (Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} n_{p} e_{pr} e_{pr}^{T} - Σ_{p = 1}^{c} e_{n_{p}} e_{n_{p}}^{T} - Σ_{p = 1}^{c} e_{n_{p}} e_{n_{p}}^{T} + Σ_{p = 1}^{c} Σ_{t = 1}^{n_{p}} n_{p} e_{pt} e_{pt}^{T}) X_{i}^{T} w_{i},

= \frac{- 2}{Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} (F - A) X_{i}^{T} w_{i}

S_{b}^{i} = \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} Σ_{\underset{q &NotEqual; p}{q = 1}}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{q}} {(w_{i}^{T} x_{pr}^{i} - w_{i}^{T} x_{qt}^{i}) (w_{i}^{T} x_{pr}^{i} - w_{i}^{T} x_{qt}^{i})}^{T}

= \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} [Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{q}} {(e_{pr} - e_{qt}) (e_{pr} - e_{qt})}^{T}] X_{i}^{T} w_{i}

(2)

= \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} [Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} (n - n_{p}) e_{pr} e_{pr}^{T} - Σ_{p = 1}^{c} Σ_{\underset{q &NotEqual; p}{q = 1}}^{c} e_{n_{p}} e_{n_{p}}^{T} - Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} e_{n_{q}} e_{n_{p}}^{T} + Σ_{q = 1}^{c} Σ_{t = 1}^{n_{q}} (n - n_{q}) e_{qt} e_{qt}^{T}] X_{i}^{T} w_{i},

= \frac{- 2}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} [(n I_{n} - F) - (E_{n} - A)] X_{i}^{T} w_{i}

S_{w}^{ij} = \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{p}} {(w_{i}^{T} x_{pr}^{i} - w_{j}^{T} x_{pt}^{j}) (w_{i}^{T} x_{pr}^{i} - w_{j}^{T} x_{pt}^{j})}^{T}

= \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{p}} (w_{i}^{T} x_{pr}^{i} x_{pr}^{iT} w_{i} - w_{i}^{T} x_{pr}^{i} x_{pt}^{jT} w_{j} - w_{j}^{T} x_{pt}^{j} x_{pt}^{iT} w_{i} + w_{j}^{T} x_{pt}^{j} x_{pt}^{jT} w_{j})

= \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} (Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} n_{p} w_{i}^{T} X_{i} e_{pr} e_{pr}^{T} X_{i}^{T} w_{i} - Σ_{p = 1}^{c} w_{i}^{T} X_{i} e_{n_{p}} e_{n_{p}}^{T} X_{j}^{T} w_{j}, - - - (3)

- Σ_{p = 1}^{c} w_{j}^{T} X_{j} e_{n_{p}} e_{n_{p}}^{T} X_{i}^{T} w_{i} + Σ_{p = 1}^{c} Σ_{t = 1}^{n_{p}} n_{p} w_{j}^{T} X_{j} e_{pt} e_{pt}^{T} X_{j}^{T} w_{j})

= \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} (w_{i}^{T} X_{i} {FX}_{i}^{T} w_{i} - w_{i}^{T} X_{i} {AX}_{j}^{T} w_{j} - w_{j}^{T} X_{j} {AX}_{i}^{T} w_{i} + w_{j}^{T} X_{j} {FX}_{j}^{T} w_{j})

S_{b}^{ij} = \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{q}} {(w_{i}^{T} x_{pr}^{i} - w_{j}^{T} x_{qt}^{j}) (w_{i}^{T} x_{pr}^{i} - w_{j}^{T} x_{qt}^{j})}^{T}

= \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} Σ_{\underset{q &NotEqual; p}{q = 1}}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{q}} (w_{i}^{T} x_{pr}^{i} x_{pr}^{iT} w_{i} - w_{i}^{T} x_{pr}^{i} x_{qt}^{jT} w_{j} - w_{j}^{T} x_{qt}^{j} x_{pr}^{iT} w_{i} + w_{j}^{T} x_{qt}^{j} x_{qt}^{jT} w_{j})

= \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} [Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} (n - n_{p}) w_{i}^{T} X_{i} e_{pr} e_{pr}^{T} X_{i}^{T} w_{i} - Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} w_{i}^{T} X_{i} e_{n_{p}} e_{n_{q}}^{T} X_{j}^{T} w_{j} . - - - (4)

- Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} w_{j}^{T} X_{j} e_{n_{q}} e_{n_{p}}^{T} X_{i}^{T} w_{i} + Σ_{q = 1}^{c} Σ_{t = 1}^{n_{q}} (n - n_{q}) w_{j}^{T} X_{j} e_{qt} e_{qt}^{T} X_{j}^{T} w_{j}]

= \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} [w_{i}^{T} X_{i} (n I_{n} - F) X_{i}^{T} w_{i} - w_{i}^{T} X_{i} (E_{n} - A) X_{j}^{T} w_{j}

- w_{j}^{T} X_{j} (E_{n} - A) X_{i}^{T} w_{i} + w_{j}^{T} X_{j} ({nI}_{n} - F) X_{j}^{T} w_{j}]

其次，定义目标函数如下：

\max_{w_{R}, w_{G}, w_{B}} Σ_{i = R}^{B} (S_{w}^{i} - α S_{b}^{i}) + γ Σ_{i = R}^{B} Σ_{\underset{j &NotEqual; i}{j = R}}^{B} (S_{w}^{ij} - β S_{b}^{ij}) . - - - (5)

其中，α＞0、β＞0、γ＞0是三个可根据实验结果进行调整的权重系数，初始值均可设置为1。式(5)的目标函数可以改写为如下形式：

\max_{w_{R}, w_{G}, w_{B}} Σ_{i = R}^{B} w_{i}^{T} X_{i} [\frac{(4 α + 2 βγ) ({nI}_{n} - F) + 2 βγ (A - E_{n})}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} + \frac{2 γA - (4 + 2 γ) F}{Σ_{p = 1}^{c} n_{p}^{2}}] X_{i}^{T} w_{i}

(6)

+ Σ_{i = R}^{B} Σ_{\underset{j &NotEqual; i}{j = R}}^{B} w_{i}^{T} X_{i} [\frac{2 A}{Σ_{p = 1}^{c} n_{p}^{2}} + \frac{2 α (A - E_{n})}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}}] X_{j}^{T} w_{j} .

令

w = [\begin{matrix} w_{R} \\ w_{G} \\ w_{B} \end{matrix}],

H = \frac{(4 α + 2 βγ) ({nI}_{n} - F) + 2 βγ (A - E_{n})}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} + \frac{2 γA - (4 + 2 γ) F}{Σ_{p = 1}^{c} n_{p}^{2}},

J = \frac{2 A}{Σ_{p = 1}^{c} n_{p}^{2}} + \frac{2 α (A - E_{n})}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}},

P = [\begin{matrix} X_{R} {HX}_{R}^{T} & X_{R} {JX}_{G}^{T} & X_{R} {JX}_{B}^{T} \\ X_{G} {JX}_{R}^{T} & X_{G} {HX}_{G}^{T} & X_{G} {JX}_{B}^{T} \\ X_{B} {JX}_{R}^{T} & X_{B} {JX}_{G}^{T} & X_{B} {HX}_{B}^{T} \end{matrix}],

式(6)可以简写为

\max_{w} w^{T} Pw . - - - (7)

为了消除尺度因子的影响，给式(7)添加一个约束，如下：

\max_{w} w^{T} Pw

。(8)

s.t.w^TQw＝1

其中，

Q = [\begin{matrix} X_{R} X_{R}^{T} & 0 & 0 \\ 0 & X_{G} X_{G}^{T} & 0 \\ 0 & 0 & X_{B} X_{B}^{T} \end{matrix}] .

式(8)的解w^*可以通过对Q^-1P矩阵进行特征分解得到。当已经得到Q^-1P矩阵的前d个最大特征值对应的特征向量w^k(k＝1,2,…,d)时，可以很容易从w^k中得到各彩色分量这里d是一个可根据实验结果调整的参数，d的取值不得超过Q^-1P矩阵的秩。令

W_{R} = [w_{R}^{1}, w_{R}^{2}, . . ., w_{R}^{d}],

W_{G} = [w_{G}^{1}, w_{G}^{2}, . . ., w_{G}^{d}],

W_{B} = [w_{B}^{1}, w_{B}^{2}, . . ., w_{B}^{d}],

我们可以得到投影后的训练样本特征集如下：

Z = {[{(W_{R}^{T} X_{R})}^{T}, {(W_{G}^{T} X_{G})}^{T}, {(W_{B}^{T} X_{B})}^{T}]}^{T} . - - - (9)

对于测试样本根据投影后的训练样本特征集我们可以得到投影后的测试样本如下：

z_{y} = {[{(W_{R}^{T} y_{R})}^{T}, {(W_{G}^{T} y_{G})}^{T}, {(W_{B}^{T} y_{B})}^{T}]}^{T} . - - - (10)

对于双重鉴别分析获取的特征，使用最近邻分类器进行分类和识别。具体地说，计算z_y到每一个训练样本特征的欧式距离，将y归至距离最小的那个训练样本所在的类，即可完成对测试样本的分类。

本发明提供的基于RGB彩色特征双重鉴别分析的彩色人脸识别方法，对R、G、B三个彩色分量内部和三个彩色分量之间进行鉴别分析，获取的鉴别信息多，分类正确率高，识别能力强；且在彩色分量内部和之间进行鉴别分析时都采用了同样的度量方式-欧式距离度量，进一步保证了识别效果，鉴别效果明显优于现有的人脸识别方法。

附图说明

图1为从彩色人脸数据库中选出并进行处理后的人脸实例图片。

图2为利用HOA、SOA和本发明提供的识别方法（CDDA）分别进行验证（Verification）实验的ROC曲线图（受试者工作特征）。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明实验验证选用FaceRecognitionGrandChallenge（FRGC）version2Experiment4彩色人脸数据库[3]。该数据库规模较大，包含了training、target、query三个子库，training子库包含222个人的12776张图片，target子库包含466个人的16028张图片，query子库包含466个人的8014张图片。实验从三个子库中挑选了公共的87个人，每个人从training子库选择了28个图片，从target子库和query子库选择了所有的图片。实验对所有选中的原始图片进行了校正（使两眼处于水平位置）、缩放和裁剪，每个图片样本只保留60×60大小的人脸区域。处理后的人脸示例图片如图1所示。从training子库中选择出的图片作为训练样本集，query子库中选择出的图片作为测试样本集，而从target子库中选择出的图片在验证（Verification）实验中用于结果比对。使用本发明提供的识别方法对测试样本集中的图片进行分类得出结果后，与target子库中选择出的图片进行比对验证。

作为本发明的实验对比，利用同样的训练样本集、测试样本集和结果比对数据，分别通过HOA、SOA对测试样本集进行分类并比对验证。通过HOA、SOA方法和本发明提供的基于RGB彩色特征双重鉴别分析的彩色人脸图像识别方法（CDDA）进行验证实验的结果如图2所示。图2为ReceiverOperatingCharacteristic（ROC）曲线，该曲线横坐标是FalseAcceptanceRate（FAR），即错误接收率，纵坐标为VerificationRate（VR），即正确验证率。与HOA和SOA方法相比，基于RGB彩色特征双重鉴别分析的彩色人脸图像识别方法（即图中CDDA方法）的识别效果明显更高一些；特别是在FAR=0.1%时，HOA的VR=73.10%，SOA的VR=73.04%，而CDDA的VR=74.46%。这说明对RGB彩色分量特征进行基于欧式距离的双重鉴别分析后，鉴别特征的分类能力得到了明显增强。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

本说明书中需要的参考文献：

[1]X.Y.Jing,Q.Liu,C.Lan,J.Y.Man,S.Li,andD.Zhang.“HolisticOrthogonalAnalysisofDiscriminantTransformsforColorFaceRecognition”.Int.Conf.ImageProcessing,pp.3841-3844,2010.

[2]J.Y.Mans,X.Y.Jing,Q.Liu,Y.F.Yao,K.Li,J.Y.Yang.“Colorfacerecognitionbasedonstatisticallyorthogonalanalysisofprojectiontransforms”.LectureNotesinComputerScience,vol.7098,pp.58-65,2011.

[3]P.J.Phillips,P.J.Flynn,T.Scruggs,K.Bowyer,J.Chang,K.Hoffman,J.Marques,J.Min,andW.Worek.OverviewoftheFaceRecognitionGrandChallenge.IEEEConf.ComputerVisionandPatternRecognition,vol.1,pp.947-954,2005.

Claims

1.一种基于RGB彩色特征双重鉴别分析的彩色人脸识别方法，其特征在于，包括如下步骤：

(1)首先获得训练样本集，定义训练样本集内部的类内特征散布矩阵和类间特征散布矩阵、与各彩色分量训练样本集之间的类内特征散布矩阵和类间特征散布矩阵：

\begin{matrix} S_{w}^{i} = \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{p}} (w_{i}^{T} x_{p r}^{i} - w_{i}^{T} x_{p t}^{i}) {(w_{i}^{T} x_{p r}^{i} - w_{i}^{T} x_{p t}^{i})}^{T} \\ = \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} [Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{p}} (e_{p r} - e_{p t}) {(e_{p r} - e_{p t})}^{T}] X_{i}^{T} w_{i} \\ = \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} (Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} n_{p} e_{p r} e_{p r}^{T} - Σ_{p = 1}^{c} e_{n_{p}} e_{n_{p}}^{T} - Σ_{p = 1}^{c} e_{n_{p}} e_{n_{p}}^{T} + Σ_{p = 1}^{c} Σ_{t = 1}^{n_{p}} n_{p} e_{p t} e_{p t}^{T}) X_{i}^{T} w_{i} \\ = \frac{- 2}{Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} (F - A) X_{i}^{T} w_{i} \end{matrix},

\begin{matrix} S_{b}^{i} = \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{q}} (w_{i}^{T} x_{p r}^{i} - w_{i}^{T} x_{q t}^{i}) {(w_{i}^{T} x_{p r}^{i} - w_{i}^{T} x_{q t}^{i})}^{T} \\ = \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} [Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{q}} (e_{p r} - e_{q t}) {(e_{p r} - e_{q t})}^{T}] X_{i}^{T} w_{i} \\ = \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} [Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} (n - n_{p}) e_{p r} e_{p r}^{T} - Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} e_{n_{p}} e_{n_{q}}^{T} - Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} e_{n_{q}} e_{n_{p}}^{T} + Σ_{q = 1}^{c} Σ_{t = 1}^{n_{q}} (n - n_{q}) e_{q t} e_{q t}^{T}] X_{i}^{T} w_{i} \\ = \frac{- 2}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} w_{i}^{T} X_{i} [({nI}_{n} - F) - (E_{n} - A)] X_{i}^{T} w_{i} \end{matrix},

\begin{matrix} S_{w}^{i j} = \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{p}} (w_{i}^{T} x_{p r}^{i} - w_{j}^{T} x_{p t}^{j}) {(w_{i}^{T} x_{p r}^{i} - w_{j}^{T} x_{p t}^{j})}^{T} \\ = \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{p}} (w_{i}^{T} x_{p r}^{i} x_{p r}^{i T} w_{i} - w_{i}^{T} x_{p r}^{i} x_{p t}^{j T} w_{j} - w_{j}^{T} x_{p t}^{j} x_{p r}^{i T} w_{i} + w_{j}^{T} x_{p t}^{j} x_{p t}^{j T} w_{j}) \\ = \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} (Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} n_{p} w_{i}^{T} X_{i} e_{p r} e_{p r}^{T} X_{i}^{T} w_{i} - Σ_{p = 1}^{c} w_{i}^{T} X_{i} e_{n_{p}} e_{n_{p}}^{T} X_{j}^{T} w_{j} \\ - Σ_{p = 1}^{c} w_{j}^{T} X_{j} e_{n_{p}} e_{n_{p}}^{T} X_{i}^{T} w_{i} + Σ_{p = 1}^{c} Σ_{t = 1}^{n_{p}} n_{p} w_{j}^{T} X_{j} e_{p t} e_{p t}^{T} X_{j}^{T} w_{j}) \\ = \frac{- 1}{Σ_{p = 1}^{c} n_{p}^{2}} (w_{i}^{T} X_{i} {FX}_{i}^{T} w_{i} - w_{i}^{T} X_{i} {AX}_{j}^{T} w_{j} - w_{j}^{T} X_{j} {AX}_{i}^{T} w_{i} + w_{j}^{T} X_{j} {FX}_{j}^{T} w_{j}) \end{matrix},

\begin{matrix} S_{b}^{i j} = \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{q}} (w_{i}^{T} x_{p r}^{i} - w_{j}^{T} x_{q t}^{j}) {(w_{i}^{T} x_{p r}^{i} - w_{j}^{T} x_{q t}^{j})}^{T} \\ = \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} Σ_{r = 1}^{n_{p}} Σ_{t = 1}^{n_{q}} (w_{i}^{T} x_{p r}^{i} x_{p r}^{i T} w_{i} - w_{i}^{T} x_{p r}^{i} x_{q t}^{j T} w_{j} - w_{j}^{T} x_{q t}^{j} x_{p r}^{i T} w_{i} + w_{j}^{T} x_{q t}^{j} x_{q t}^{j T} w_{j}) \\ = \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} [Σ_{p = 1}^{c} Σ_{r = 1}^{n_{p}} (n - n_{p}) w_{i}^{T} X_{i} e_{p r} e_{p r}^{T} X_{i}^{T} w_{i} - Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} w_{i}^{T} X_{i} e_{n_{p}} e_{n_{q}}^{T} X_{j}^{T} w_{j} \\ - Σ_{p = 1}^{c} {\underset{q = 1}{Σ}}_{q &NotEqual; p}^{c} w_{j}^{T} X_{j} e_{n_{q}} e_{n_{p}}^{T} X_{i}^{T} w_{i} + Σ_{q = 1}^{c} Σ_{t = 1}^{n_{q}} (n - n_{q}) w_{j}^{T} X_{j} e_{q t} e_{q t}^{T} X_{j}^{T} w_{j}] \\ = \frac{- 1}{n^{2} - Σ_{p = 1}^{c} n_{p}^{2}} [w_{i}^{T} X_{i} ({nI}_{n} - F) X_{i}^{T} w_{i} - w_{i}^{T} X_{i} (E_{n} - A) X_{j}^{T} w_{j} \\ - w_{j}^{T} X_{j} (E_{n} - A) X_{i}^{T} w_{i} + w_{j}^{T} X_{j} ({nI}_{n} - F) X_{j}^{T} w_{j}] \end{matrix};

其中X_R、X_G、X_B为R、G、B三个彩色分量训练样本集，w_R、w_G、w_B为X_R、X_G、X_B的投影向量，c表示彩色图像训练样本的类别数，n_k表示第k类彩色图像训练样本的个数，n表示所有彩色图像训练样本的个数，表示第i个彩色分量训练样本集X_i中第p类的第q个样本，表示一个n_k阶单位阵，I_n表示一个n阶单位阵，表示一个n_k阶所有元素都为1的方阵，E_n表示一个n阶所有元素都为1的方阵，

A = [\begin{matrix} E_{n_{1}} & 0 & ... & 0 \\ 0 & E_{n_{2}} & ... & 0 \\ \begin{matrix} . \\ . \\ . \end{matrix} & \begin{matrix} . \\ . \\ . \end{matrix} & \begin{matrix} ... \end{matrix} & \begin{matrix} . \\ . \\ . \end{matrix} \\ 0 & 0 & ... & E_{n_{c}} \end{matrix}] &Element; R^{n \times n},

F = [\begin{matrix} n_{1} I_{n_{1}} & 0 & ... & 0 \\ 0 & n_{2} I_{n_{2}} & ... & 0 \\ \begin{matrix} . \\ . \\ . \end{matrix} & \begin{matrix} . \\ . \\ . \end{matrix} & \begin{matrix} ... \end{matrix} & \begin{matrix} . \\ . \\ . \end{matrix} \\ 0 & 0 & ... & n_{c} I_{n_{c}} \end{matrix}] &Element; R^{n \times n};

(2)其次定义目标函数并添加约束，对目标函数求解，得到投影后的训练样本特征集：

所述目标函数为：

\underset{w_{R}, w_{G}, w_{B}}{m a x} Σ_{i = R}^{B} (S_{w}^{i} - {αS}_{b}^{i}) + γ Σ_{i = R}^{B} {\underset{j = R}{Σ}}_{j &NotEqual; i}^{B} (S_{w}^{i j} - {βS}_{b}^{i j}),

将目标函数简写为

\underset{w}{m a x} w^{T} P w,

并添加约束如下

s.t.w^TQw＝1，

通过对Q^-1P矩阵进行特征分解得到目标函数的解，从而得到投影后的训练样本特征集为：

Z = {[{(W_{R}^{T} X_{R})}^{T}, {(W_{G}^{T} X_{G})}^{T}, {(W_{B}^{T} X_{B})}^{T}]}^{T};

其中，

w = [\begin{matrix} w_{R} \\ w_{G} \\ w_{B} \end{matrix}],

P = [\begin{matrix} X_{R} {HX}_{R}^{T} & X_{R} {JX}_{G}^{T} & X_{R} {JX}_{B}^{T} \\ X_{G} {JX}_{R}^{T} & X_{G} {HX}_{G}^{T} & X_{G} {JX}_{B}^{T} \\ X_{B} {JX}_{R}^{T} & X_{B} {JX}_{G}^{T} & X_{B} {HX}_{B}^{T} \end{matrix}],

Q = [\begin{matrix} X_{R} X_{R}^{T} & 0 & 0 \\ 0 & X_{G} X_{G}^{T} & 0 \\ 0 & 0 & X_{B} X_{B}^{T} \end{matrix}],

α＞0、β＞0、γ＞0、

W_{R} = [w_{R}^{1}, w_{R}^{2}, ..., w_{R}^{d}],

W_{G} = [w_{G}^{1}, w_{G}^{2}, ..., w_{G}^{d}],

W_{B} = [w_{B}^{1}, w_{B}^{2}, ..., w_{B}^{d}],

d为整数且取值不大于Q^-1P矩阵的秩；

(3)获得测试样本，根据上述投影后的训练样本特征集，得出投影后的测试样本特征，计算投影后的测试样本特征到每个训练样本特征的欧式距离，将测试样本归至距离最小的那个训练样本所在的类：

所述测试样本为：

y = {[y_{R}^{T}, y_{G}^{T}, y_{B}^{T}]}^{T},

投影后的测试样本特征为：

z_{y} = {[{(W_{R}^{T} y_{R})}^{T}, {(W_{G}^{T} y_{G})}^{T}, {(W_{B}^{T} y_{B})}^{T}]}^{T} .

2.根据权利要求1所述的基于RGB彩色特征双重鉴别分析的彩色人脸识别方法，其特征在于，所述步骤(2)中α、β、γ取值均为1。