CN101515330A - 面向鉴别的图像相关特征融合识别系统 - Google Patents

Abstract

一种电信技术领域的面向鉴别的图像相关特征融合识别系统，本发明中，首先根据训练图像，通过迭代过程求出投影矩阵；然后利用该投影矩阵把训练图像和测试图像分别投影到特征空间中，抽取出训练特征和测试特征，并将这些特征分别做并行融合形成新特征；最后，再用线性鉴别分析方法抽取出更具鉴别力的特征，采用最小距离分类器，即可识别出测试图像所属的类别。本发明可以更自然地刻画图像矩阵行向量间的关系和列向量间的关系，抽取的特征能更集中地反映图像的信息，进一步面向鉴别的处理，可以抽取出更具鉴别力的特征，应用到图像识别中，不仅可以提高处理速度，而且可以提高识别性能。

Description

面向鉴别的图像相关特征融合识别系统

技术领域

本发明涉及一种电信技术领域的图像识别系统，具体是一种面向鉴别的图像相关特征融合识别系统。

背景技术

基于标准相关分析(Canonical Correlation Analysis，简称CCA)的特征融合方法，是利用CCA建立两组特征向量之间的相关性准则函数，求取投影向量集，然后抽取得到组合的相关特征。

经对现有技术文献检索发现，Q.S.Sun，S.G.Zeng，Y.Liu等在PatternRecognition(模式识别，2005，38(12)：2437-2448)上发表的文章“Anew methodof feature fusion and its application in image recognition”(“一种特征融合新方法以及在图像识别中的应用”)中，证明了利用标准相关分析法所抽取的特征之间是不相关的，因此具有良好的分类性能。但是该方法是建立在向量形式的两组特征上，因此，当用于图像识别等图像处理问题时，必须先将二维的图像矩阵通过行连接或列连接转化为一维的列向量，然后以该列向量作为原始特征进行分析。由于图像向量的维数一般较高(如分辨率为256×256＝65536的图像)，这不仅会面临计算量大的问题，而且通常图像样本的个数远小于图像向量的维数(即高维小样本问题)，这会导致协方差阵奇异，而在使用CCA时，要求训练样本的协方差阵是非奇异的。而且将图像矩阵转化为列向量，会破坏像素间的空间相关性，设m×n大小的图像矩阵通过行连接转化为列向量，像素a和b在图像矩阵中本来是上下相邻的，但在列向量中位置却相差m个像素，显然破坏了像素间固有的空间信息，不利于特征的抽取。

经检索还发现，孙权森的博士论文《基于相关投影分析的特征抽取与图像识别研究》(南京理工大学，2006)提出了2D-CCA方法(2-Dimensional CanonicalCorrelation Analysis，简称2D-CCA)，直接利用图像的矩阵表达形式进行相关投影分析，提高了特征的抽取速度，但是2D-CCA仅仅是对图像矩阵的列作线性组合，只反映了图像行之间的信息，因而仅降低了图像矩阵的列的大小，求得的特征矩阵的维数较高。而同时从行和列两个方向降维，可以更自然地刻画图像矩阵行向量间的关系和列向量间的关系，抽取的特征能更集中地反映图像的信息。而且CCA考察的是两个多维变量之间的相关关系，通过投影变换抽取出较少的相关变量，这些变量完整而又简单地刻画了多维变量之间的相关性，达到了降维的目的，但是这些特征的鉴别能力可能不足，抽取的特征不适于作为分类识别目标的依据。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种面向鉴别的图像相关特征融合识别方法，使其利用图像的矩阵表示形式，同时从行列两个方向降维，抽取出能更集中地反映图像的信息的特征，进一步的线性鉴别分析处理，提高特征的鉴别能力，本发明可应用于图像识别，能够提高识别的精度。

本发明是通过以下技术方案实现的，本发明包括：图像采集模块、投影矩阵获得模块、新特征构造模块、线性鉴别分析模块、数据分类模块，其中：

图像采集模块采集反映目标两种特性的两幅图像，经过图像配准操作后，将两幅图像组成图像对，将每幅图像作为一个矩阵，然后将这些图像对作为训练样本集，最后将训练样本集传输给投影矩阵获得模块和新特征构造模块，并将采集到的测试图像传输给新特征构造模块；

投影矩阵获得模块接收训练样本集，分别建立这两种训练图像矩阵的平均值，根据得到的平均值，再根据面向鉴别的图像相关特征融合识别方法，给定初始迭代值，通过迭代过程，解特征值问题，构成从行和列两个方向抽取特征的投影矩阵，并将投影矩阵传输给新特征构造模块；

新特征构造模块接收输入的训练图像和投影矩阵，将所有训练图像矩阵利用投影矩阵投影到特征空间，得到两种图像的训练特征，将测试图像也投影到特征空间，得到两种图像的测试特征，将这两种图像的训练特征和测试特征分别做并行融合形成新特征，并将新特征转化为向量形式后传输给线性鉴别分析模块；

线性鉴别分析模块接收新特征，将训练特征并行融合形成的新特征作为线性鉴别分析方法的训练数据，测试特征并行融合形成的新特征作为测试数据，用线性鉴别分析方法抽取得到面向鉴别的训练系数矩阵和测试系数矩阵，并将训练系数矩阵和测试系数矩阵传输给数据分类模块；

数据分类模块接收训练系数矩阵和测试系数矩阵，将训练系数矩阵作为识别标准，采用最小距离分类器进行分类识别，即能识别出测试图像所属的类别。

所述投影矩阵获得模块，其建立两种训练图像矩阵的平均值，具体如下：训练样本集中有N对图像(A_i，B_i)，i＝1，2，…，N，A_i为第一种图像，B_i为第二种图像，其中 $A_i\∈R^{r_1}\⊗R^{c_1},$ $B_i\∈R^{r_2}\⊗R^{c_2},$ 均为矩阵形式，则第一种图像的均值为： $\stackrel{\‾}{A}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{A}_i,$ 第二种图像的均值为： $\stackrel{\‾}{B}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{B}_i,$ 其中，r₁，c₁为图像矩阵A_i的行数、列数，r₂，c₂为图像矩阵B_i的行数、列数。

所述投影矩阵获得模块，其采用面向鉴别的图像相关特征融合识别方法找到一组最优投影矩阵使得A_i和B_i的投影的相关性最大，具体如下：寻找r₁×l的投影矩阵U₁和c₁×τ的投影矩阵V₁，将A_i投影到矩阵 $P_i=U_1^T{A}_i{V}_1\&Element;R^l\&CircleTimes;R^{\mathrm{\&tau;}}(l<r_1,\mathrm{\&tau;}<c_1),$ 以及寻找r₂×l的投影矩阵U₂和c₂×τ的投影矩阵V₂，将B_i投影到矩阵 $Q_i=U_2^T{B}_i{V}_2\&Element;R^l\&CircleTimes;R^{\mathrm{\&tau;}}(l<r_2,\mathrm{\&tau;}<c_2),$ 使P_i和Q_i的相关性最大，其中，U₁，V₁为A_i的左右变换矩阵，U₂，V₂为B_i的左右变换矩阵，P_i为经变换矩阵降维后的A_i，Q_i为经变换矩阵降维后的B_i，l，τ为P_i，Q_i的行数和列数。

所述投影矩阵获得模块，其根据面向鉴别的图像相关特征融合识别方法，给定初始迭代值，通过迭代过程，解特征值问题，构成从行和列两个方向抽取特征的投影矩阵，具体如下：

将图像投影变换后，分别获得两种图像的方差：

${\hat{D}}_A=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{trace}\left(U_1^T(A_i-\stackrel{\&OverBar;}{A})V_1{V}_1^T{(A_i-\stackrel{\&OverBar;}{A})}^T{U}_1\right)$

${\hat{D}}_B=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{trace}\left(U_2^T(B_i-\stackrel{\&OverBar;}{B})V_2{V}_2^T{(B_i-\stackrel{\&OverBar;}{B})}^T{U}_2\right)$

在图像方差的基础上获得两种图像间的互协方差：

${\hat{D}}_{\mathrm{AB}}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{trace}\left(U_1^T(A_i-\stackrel{\&OverBar;}{A})V_1{V}_2^T{(B_i-\stackrel{\&OverBar;}{B})}^T{U}_2\right)$

根据图像的方差和图像间的互协方差建立面向鉴别的图像相关特征融合识别方法的目标函数：

$J(U_1,V_1;U_2,V_2)=\frac{{\hat{D}}_{\mathrm{AB}}}{\sqrt{{\hat{D}}_A}\sqrt{{\hat{D}}_B}}$

将上述目标函数简化为求解如下最优化问题：

$\max {\hat{D}}_{\mathrm{AB}}$

$s.t.{\hat{D}}_A=1,$

${\hat{D}}_B=1.$

在上述最优化问题的基础上，采取高斯-塞德尔(Gauss-Seidel)迭代方法获得两种图像的投影矩阵，即获得两种图像的左右变换矩阵。

所述新特征构造模块，其将所有训练图像矩阵利用生成的投影矩阵投影到特征空间，得到训练特征，并将训练特征做并行融合形成新特征，是指将A_i投影到矩阵 $P_i=U_1^T{A}_i{V}_1,$ 将B_i投影到矩阵 $Q_i=U_2^T{B}_i{V}_2,$ 并行融合形成的新的训练特征为：P_i+i·Q_i；与训练图像相同，将测试图像矩阵也利用投影矩阵投影到特征空间，得到测试特征，测试特征做并行融合形成新的测试特征，将新的训练特征和新的测试特征分别转化为向量形式后作为线性鉴别分析方法的输入，用线性鉴别分析方法抽取得到面向鉴别的特征。

与现有技术相比，本发明具有如下有益效果：

本发明利用图像的矩阵表示形式，而不必事先将图像矩阵转换为向量形式，不仅维持了像素间的空间相关性，而且避免了在高维空间构造协方差阵并计算相关特征向量的困难，降低了计算量，一定程度上避免了协方差阵奇异，同时从图像矩阵的行和列两个方向降维，可以更自然地刻画图像矩阵行向量间的关系和列向量间的关系，抽取的特征能更集中地反映图像的信息，进一步面向鉴别的处理，可以抽取得到更具鉴别力的特征，应用到图像识别中，不仅可以提高处理速度，而且可以提高识别性能。本发明可应用于人脸识别、视频监控系统、军事目标跟踪识别系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。

附图说明

图1为本发明的系统结构框图；

图2为本发明在戴眼镜人脸图像库中进行识别的结果与(2D)²CCA进行识别的结果比较图；

图3为本发明在不戴眼镜人脸图像库中进行识别的结果与(2D)²CCA进行识别的结果比较图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例应用于Equinox数据库，Equinox数据库是美国国家标准和技术中心和Equinox公司联合建立的可见光/红外人脸图像数据库，图像已经过配准。实验在一个包含44个人的1760幅图像(每人40幅：不戴眼镜时的10幅红外图像及相应的10幅可见光图像，戴眼镜时的10幅红外图像及相应的10幅可见光图像)的库上进行。经过预处理后将原图像变成分辨率为56×46的灰度图像。

本实施例中选取每人5幅可见光/红外图像作为训练数据，剩余的图像作为测试数据。

如图1所示，本实施例包括：图像采集模块、投影矩阵获得模块、新特征构造模块、线性鉴别分析模块、数据分类模块，其中：

图像采集模块同时采集目标的可见光图像和红外图像(各取220张)，经过图像配准操作后，将两种图像组成图像对，并把每幅图像作为一个矩阵，将这些图像对作为训练样本集，最后将训练样本集传输给投影矩阵获得模块和新特征构造模块，并将采集到的测试图像传输给新特征构造模块；

投影矩阵获得模块接收训练样本集，分别建立可见光训练图像矩阵和红外训练图像矩阵的平均值，根据得到的平均值，再根据面向鉴别的图像相关特征融合识别方法，给定初始迭代值，通过迭代过程，解特征值问题，构成能从行和列两个方向抽取特征的投影矩阵，并将投影矩阵传输给新特征构造模块；

新特征构造模块接收输入的训练图像和投影矩阵，将所有训练图像矩阵利用投影矩阵投影到特征空间，得到两种图像的训练特征，将测试图像也投影到特征空间，得到两种图像的测试特征，将这两种图像的训练特征和测试特征分别做并行融合形成新特征，并将新特征转化为向量形式后传输给线性鉴别分析模块；

线性鉴别分析模块接收新特征，并将训练特征并行融合形成的新特征作为线性鉴别分析方法的训练数据，测试特征并行融合形成的新特征作为测试数据，用线性鉴别分析方法抽取得到面向鉴别的训练系数矩阵特征和测试系数矩阵特征，并将训练系数矩阵特征和测试系数矩阵特征传输给数据分类模块；

数据分类模块接收训练系数矩阵特征和测试系数矩阵特征，将训练系数矩阵特征作为识别标准，采用最小距离分类器进行分类识别，即可识别出测试图像所属的类别。

所述投影矩阵获得模块，其建立两种训练图像矩阵的平均值，具体如下：训练样本集中有N对图像(A_i，B_i)，i＝1，2，…，N，A_i为第一种图像，B_i为第二种图像，其中 $A_i\&Element;R^{r_1}\&CircleTimes;R^{c_1},$ $B_i\&Element;R^{r_2}\&CircleTimes;R^{c_2},$ 均为矩阵形式，则第一种图像的均值为： $\stackrel{\&OverBar;}{A}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{A}_i,$ 第二种图像的均值为： $\stackrel{\&OverBar;}{B}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{B}_i,$ 其中，r₁，c₁为图像矩阵A_i的行数、列数，r₂，c₂为图像矩阵B_i的行数、列数。

所述投影矩阵获得模块，其采用面向鉴别的图像相关特征融合识别方法找到一组最优投影矩阵使得A_i和B_i的投影的相关性最大，具体如下：寻找r₁×l的投影矩阵U₁和c₁×τ的投影矩阵V₁，将A_i投影到矩阵 $P_i=U_1^T{A}_i{V}_1\&Element;R^l\&CircleTimes;R^{\mathrm{\&tau;}}(l<r_1,\mathrm{\&tau;}<c_1),$ 以及寻找r₂×l的投影矩阵U₂和c₂×τ的投影矩阵V₂，将B_i投影到矩阵 $Q_i=U_2^T{B}_i{V}_2\&Element;R^l\&CircleTimes;R^{\mathrm{\&tau;}}(l<r_2,\mathrm{\&tau;}<c_2),$ 使P_i和Q_i的相关性最大，其中，U₁，V₁为A_i的左右变换矩阵，U₂，V₂为B_i的左右变换矩阵，P_i为经变换矩阵降维后的A_i，Q_i为经变换矩阵降维后的B_i，l，τ为P_i，Q_i的行数和列数。

所述投影矩阵获得模块，根据面向鉴别的图像相关特征融合识别方法，给定初始迭代值，通过迭代过程，解特征值问题，构成能从行和列两个方向抽取特征的投影矩阵，具体如下：

将可见光图像和红外图像投影变换后，分别获得两种图像的方差：

${\hat{D}}_A=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{trace}\left(U_1^T(A_i-\stackrel{\&OverBar;}{A})V_1{V}_1^T{(A_i-\stackrel{\&OverBar;}{A})}^T{U}_1\right)$

${\hat{D}}_B=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{trace}\left(U_2^T(B_i-\stackrel{\&OverBar;}{B})V_2{V}_2^T{(B_i-\stackrel{\&OverBar;}{B})}^T{U}_2\right)$

在图像方差的基础上获得两种图像间的互协方差：

${\hat{D}}_{\mathrm{AB}}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{trace}\left(U_1^T(A_i-\stackrel{\&OverBar;}{A})V_1{V}_2^T{(B_i-\stackrel{\&OverBar;}{B})}^T{U}_2\right)$

根据图像的方差和图像间的互协方差建立面向鉴别的图像相关特征融合识别方法的目标函数：

$J(U_1,V_1;U_2,V_2)=\frac{{\hat{D}}_{\mathrm{AB}}}{\sqrt{{\hat{D}}_A}\sqrt{{\hat{D}}_B}}$

将上述目标函数简化为求解如下最优化问题：

$\max {\hat{D}}_{\mathrm{AB}}$

$s.t.{\hat{D}}_A=1,$

${\hat{D}}_B=1.$

在上述最优化问题的形式基础上，采取迭代方法获得投影矩阵U₁，V₁，U₂，V₂，具体如下：

①初始化V₁，V₂：V₁←V_1，0，V₂←V_2，0，j＝0，其中： $V_{\mathrm{1,0}}=V_{\mathrm{2,0}}=\left(\begin{array}{c}{e}_{\mathrm{\&tau;}\&times;\mathrm{\&tau;}}\\ 0\end{array}\right)$ 或V_1，0＝V_2，0＝I，e_τ×τ为τ×τ的单位阵，I为全一阵；

②j＝j+1，分别计算S_AV ^-1S_ABVS_BV ^-1S_BAV，S_BV ^-1S_BAVS_AV ^-1S_ABV的前l个最大非零特征值对应的特征向量

和{φ_i}_i＝1 ^l，并令

U_2，j＝[φ₁，…，φ₁]，

其中， $S_{\mathrm{AV}}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(A_i-\stackrel{\&OverBar;}{A})V_{1,j-1}{V}_{1,j-1}^T{(A_i-\stackrel{\&OverBar;}{A})}^T,$ $S_{\mathrm{BV}}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(B_i-\stackrel{\&OverBar;}{B})V_{2,j-1}{V}_{2,j-1}^T{(B_i-\stackrel{\&OverBar;}{B})}^T,$ $S_{\mathrm{ABV}}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(A_i-\stackrel{\&OverBar;}{A})V_{1,j-1}{V}_{2,j-1}^T{(B_i-\stackrel{\&OverBar;}{B})}^T,$ $S_{\mathrm{BAV}}=S_{\mathrm{ABV}}^T;$

③分别计算S_AU ^-1S_BAUS_BU ^-1S_ABU，S_BU ^-1S_ABUS_AU ^-1S_BAU的前τ个最大非零特征值对应的特征向量

和{φ_i}_i＝1 ^τ，并令

V_2，j＝[φ₁，…，φ_τ]，

其中， $S_{\mathrm{AU}}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(A_i-\stackrel{\&OverBar;}{A})}^T{U}_{1,j}{U}_{1,j}^T(A_i-\stackrel{\&OverBar;}{A}),$ $S_{\mathrm{BU}}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(B_i-\stackrel{\&OverBar;}{B})}^T{U}_{2,j}{U}_{2,j}^T(B_i-\stackrel{\&OverBar;}{B}),$ $S_{\mathrm{ABU}}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(B_i-\stackrel{\&OverBar;}{B})}^T{U}_{2,j}{U}_{1,j}^T(A_i-\stackrel{\&OverBar;}{A}),$ $S_{\mathrm{BAU}}=S_{\mathrm{ABU}}^T;$

④重复②、③两步C次或设定阈值η，最后获得投影矩阵U₁＝U_1，C，U₂＝U_2，C，V₁＝V_1，C，V₂＝V_2，C，其中，C为迭代次数，可以通过实验确定最优迭代次数，本实施例通过实验确定最优迭代次数为C＝2。

所述新特征构造模块，其将所有训练图像矩阵利用生成的投影矩阵投影到特征空间，得到训练特征，并将训练特征做并行融合形成新特征，是指将可见光图像A_i投影到矩阵 $P_i=U_1^T{A}_i{V}_1,$ 将红外图像B_i投影到矩阵 $Q_i=U_2^T{B}_i{V}_2,$ 并行融合形成的新特征为：P_i+i·Q_i，将形成的新特征转化为向量形式后作为线性鉴别分析方法的输入，用线性鉴别分析方法进一步抽取得到面向鉴别的特征。可见光测试图像和红外测试图像也经过同样的处理，用线性鉴别分析方法进一步抽取得到面向鉴别的特征。

本实施例分别在戴眼镜图像库和不戴眼镜图像库中进行，随机选择5幅可见光/红外图像作为训练数据，剩余的图像作为测试数据。重复实验20次，取20次结果的平均值作为最终结果。为简便，实验中取l＝τ＝d，迭代次数为C＝2，采用最小距离分类器。

如图2所示，为本实施例方法在戴眼镜人脸图像库中进行识别的结果与(2D)²CCA(利用图像的矩阵表示形式同时从行和列两个方向降维，但是没有经过的线性鉴别分析处理的特征融合方法)进行识别的结果比较图；如图3所示，为本实施例方法在不戴眼镜人脸图像库中进行识别的结果与(2D)²CCA进行识别的结果比较图。其中，横坐标为d的取值，纵坐标为识别率，从图中可看出，本实施例方法明显优于直接用(2D)²CCA提取特征的方法，能获得更具鉴别性的特征，可以提高识别性能。

Claims (5)

1、一种面向鉴别的图像相关特征融合识别系统，其特征在于，包括：图像采集模块、投影矩阵获得模块、新特征构造模块、线性鉴别分析模块、数据分类模块，其中：

图像采集模块采集反映目标两种特性的两幅图像，经过图像配准操作后，将两幅图像组成图像对，将每幅图像作为一个矩阵，然后将这些图像对作为训练样本集，最后将训练样本集传输给投影矩阵获得模块和新特征构造模块，并将采集到的测试图像传输给新特征构造模块；

投影矩阵获得模块接收训练样本集，分别建立这两种训练图像矩阵的平均值，根据得到的平均值，再根据面向鉴别的图像相关特征融合识别方法，给定初始迭代值，通过迭代过程，解特征值问题，构成从行和列两个方向抽取特征的投影矩阵，并将投影矩阵传输给新特征构造模块；

新特征构造模块接收输入的训练图像和投影矩阵，将所有训练图像矩阵利用投影矩阵投影到特征空间，得到两种图像的训练特征，将测试图像也投影到特征空间，得到两种图像的测试特征，将这两种图像的训练特征和测试特征分别做并行融合形成新特征，并将新特征转化为向量形式后传输给线性鉴别分析模块；

线性鉴别分析模块接收新特征，将训练特征并行融合形成的新特征作为线性鉴别分析方法的训练数据，测试特征并行融合形成的新特征作为测试数据，用线性鉴别分析方法抽取得到面向鉴别的训练系数矩阵和测试系数矩阵，并将训练系数矩阵和测试系数矩阵传输给数据分类模块；

数据分类模块接收训练系数矩阵和测试系数矩阵，将训练系数矩阵作为识别标准，采用最小距离分类器进行分类识别，即能识别出测试图像所属的类别。

2、根据权利要求1所述的面向鉴别的图像相关特征融合识别系统，其特征是，所述投影矩阵获得模块，其建立两种训练图像矩阵的平均值，具体如下：训练样本集中有N对图像(A_i，B_i)，i＝1，2，…，N，A_i为第一种图像，B_i为第二种图像，其中 $A_i\&Element;R^{r_1}\&CircleTimes;R^{c_1},$ $B_i\&Element;R^{r_2}{\&CircleTimes;R}^{c_2},$ 均为矩阵形式，则第一种图像的均值为： $\stackrel{\&OverBar;}{A}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{A}_i,$ 第二种图像的均值为： $\stackrel{\&OverBar;}{B}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{B}_i,$ 其中，r₁，c₁为图像矩阵A_i的行数、列数，r₂，c₂为图像矩阵B_i的行数、列数。

3、根据权利要求1或2所述的面向鉴别的图像相关特征融合识别系统，其特征是，所述投影矩阵获得模块，其采用面向鉴别的图像相关特征融合识别方法找到一组最优投影矩阵使得A_i和B_i的投影的相关性最大，具体如下：寻找r₁×l的投影矩阵U₁和c₁×τ的投影矩阵V₁，将A_i投影到矩阵 $P_i=U_1^T{A}_i{V}_1\&Element;R^l\&CircleTimes;R^{\mathrm{\&tau;}}(l<r_1,\mathrm{\&tau;}<c_1),$ 以及寻找r₂×l的投影矩阵U₂和c₂×τ的投影矩阵V₂，将B_i投影到矩阵 $Q_i=U_2^T{B}_i{V}_2\&Element;R^l\&CircleTimes;R^{\mathrm{\&tau;}}(l<r_2,\mathrm{\&tau;}<c_2),$ 使P_i和Q_i的相关性最大，其中，U₁，V₁为A_i的左右变换矩阵，U₂，V₂为B_i的左右变换矩阵，P_i为经变换矩阵降维后的A_i，Q_i为经变换矩阵降维后的B_i，l，τ为P_i，Q_i的行数和列数。

4、根据权利要求1或2所述的面向鉴别的图像相关特征融合识别系统，其特征是，所述投影矩阵获得模块，其根据面向鉴别的图像相关特征融合识别方法，给定初始迭代值，通过迭代过程，解特征值问题，构成从行和列两个方向抽取特征的投影矩阵，具体如下：

将图像投影变换后，分别获得两种图像的方差：

${\hat{D}}_A=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{trace}\left(U_1^T(A_i-\stackrel{\&OverBar;}{A})V_1{V}_1^T{(A_i-\stackrel{\&OverBar;}{A})}^T{U}_1\right)$

${\hat{D}}_B=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{trace}\left(U_2^T(B_i-\stackrel{\&OverBar;}{B})V_2{V}_2^T{(B_i-\stackrel{\&OverBar;}{B})}^T{U}_2\right)$

在图像方差的基础上获得两种图像间的互协方差：

${\hat{D}}_{\mathrm{AB}}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{trace}\left(U_1^T(A_i-\stackrel{\&OverBar;}{A})V_1{V}_2^T{(B_i-\stackrel{\&OverBar;}{B})}^T{U}_2\right)$

根据图像的方差和图像间的互协方差建立面向鉴别的图像相关特征融合识别方法的目标函数：

$J(U_1,V_1;U_2,V_2)=\frac{{\hat{D}}_{\mathrm{AB}}}{\sqrt{{\hat{D}}_A}\sqrt{{\hat{D}}_B}}$

将上述目标函数简化为求解如下最优化问题：

$\max {\hat{D}}_{\mathrm{AB}}$

$s.t.{\hat{D}}_A=1,$

${\hat{D}}_B=1.$

在上述最优化问题的基础上，采取高斯-塞德尔迭代方法分别获得两种图像的投影矩阵。

5、根据权利要求1所述的面向鉴别的图像相关特征融合识别系统，其特征是，所述新特征构造模块，其将所有训练图像矩阵利用生成的投影矩阵投影到特征空间，得到训练特征，并将训练特征做并行融合形成新特征，是指将A_i投影到矩阵 $P_i=U_1^T{A}_i{V}_1,$ 将B_i投影到矩阵 $Q_i=U_2^T{B}_i{V}_2,$ 并行融合形成的新的训练特征为：P_i+i·Q_i；与训练图像相同，将测试图像矩阵也利用投影矩阵投影到特征空间，得到测试特征，测试特征做并行融合形成新的测试特征，将新的训练特征和新的测试特征分别转化为向量形式后作为线性鉴别分析方法的输入，用线性鉴别分析方法抽取得到面向鉴别的特征。

Images