CN105844291A - 一种基于核典型相关分析的特征融合方法 - Google Patents

Abstract

本发明公开了一种基于核典型相关分析的特征融合方法，主要包括：利用核函数将图像矩阵映射到核空间；提取同一模式的两组特征向量，在两组特征向量之间建立描述它们的相关性的判据准则函数；然后根据准则函数求得两组典型投影矢量集；最后通过给定的特征融合策略提取组合的典型相关特征并在分类识别中应用。本发明的有益效果是：核技术的引入成功地将线性的典型相关分析推广到非线性，可提取到更有鉴别力的特征，并且避免了对映射后的矩阵进行分解，从而简化了数据运算；本发明构建的核典型相关分析算法巧妙地将两组特征矢量之间的相关性特征作为有效判别信息，既达到了信息融合的目的，又消除了特征之间的信息冗余，在分类中取得了很好的结果。

Description

一种基于核典型相关分析的特征融合方法

技术领域

本发明涉及特征融合方法、图像处理、模式识别、人工智能领域，具体涉及一种基于核典型相关分析的特征融合方法。

背景技术

随着计算机技术的发展，基于信息融合技术的特征级融合方法已经被人们应用在组合特征提取中，并且得到了较好应用效果。特征融合的优势是明显的，因为对同一模式所提取的不同特征向量反映了模式的不同特性，对它们进行优化组合，既保留了参与融合的多组特征的有效鉴别信息，又消除了特征向量之间的的冗余信息。现有的特征融合方法主要分为串行融合方法和并行融合方法。近年来Wechsler H.等人将特征融合应用于特征提取中，并在人脸及手写体识别中取得了很好的效果。

而特征提取和维数压缩的结果直接决定了特征融合的效果的好坏，迄今为止，各种的降维方法层出不穷，其中最具代表性的方法有：主成分分析(PCA)、典型相关分析(CCA)和偏最小二乘分析(PLS)。其中PCA是一种基于单一特征的降维方法，这在一定程度上限制了有效信息的获取；因此有学者提出了CCA，CCA是研究两组随机变量之间相关性的方法，在计算机视觉、信号处理及语音识别等领域都有成功的应用；而PLS是一种与CCA相似的方法，主要用于处理高维小样本问题，在化工领域的应用较为成功。

上述经典统计方法均是基于假定的线性空间，无法提取不同特征之间的非线性关系，而核方法正是解决上述问题的有效方法，因此用核来增强以上统计方法已成为趋势，从而衍生出了核主成分分析(KPCA)、核典型相关分析(KCCA)和核偏最小二乘分析(KPLS)等方法。其中KCCA已被Fyfe和Akaho等人应用于一些初步工作，并且Shawe-Yaylor和Cristian等人在此基础上取得了更进一步的成果。Borga等提出将特征值问题表示成两个特征值方程从而减少计算时间和特征向量的维数，本文正是在此基础上进行研究，同时为了简化KCCA的建立，我们在算法中加入了正则化参数，该方法在实验中取得了良好的效果。

基于核典型相关分析，本发明提出了一种不同于传统特征融合思路的组合特征提取方法。首先，将图像矩阵通过核函数映射到核空间，再抽取同一模式的两组特征向量，在两组特征向量之间建立描述它们的相关性的判据准则函数；然后依此准则函数抽取两组典型投影矢量集；最后通过给定的特征融合策略抽取组合的典型相关特征应用于分类识别。在多个数据库上的实验结果表明本发明所提出组合特征提取算法既能很好地融合信息，又能有效地去除特征之间的冗余信息，得到具有较好鉴别力的分类特征。

发明内容

本发明的主要目的在于，基于核技术建立核典型相关分析，实现多组特征的有效融合，在模式分类(如人脸识别等)中获得良好的识别效果，提高识别率。

本发明的目的及解决其技术问题是采用的技术方案是：一种基于核典型相关分析的特征融合方法，包括以下内容：

典型相关分析的基本思想为将两组随机变量之间的相关性研究转化成两组中的为数不多的相互之间不相关的几对变量之间的相关性研究，具体如下：构造两个零均值的随机变量x∈R^p和y∈R^q，并找到一对投影方向α与β，使得投影与之间具有最大的相关性。

如下函数为获得投影方向的准则函数，一般通过最大化该函数即可获得α与β。

其中S_xx，S_yy分别表示x与y的协方差矩阵，S_xy表示x与y之间的互协方差矩阵。

因为α和β的范数乘积决定了相关联函数的泛化质量，因此我们在α和β之前加上惩罚因子，则上式变为：

$\mathrm{\ρ}=\frac{{\mathrm{\α}}^T{S}_{xy}{\mathrm{\β}}^T}{\sqrt{({\mathrm{\α}}^T{S}_{xx}\mathrm{\α}+k|\left|\mathrm{\α}\right|{|}^2)\·({\mathrm{\β}}^T{S}_{yy}\mathrm{\β}+k\left|\right|\mathrm{\β}\left|{|}^2\right)}}---\left(2\right)$

现在将X与Y映射到高维特征空间变为φ(X)、φ(Y)，此时

$\begin{array}{c}\mathrm{\φ}\left(X\right)=\[\mathrm{\φ}\left(x_1^{*}\right),\mathrm{\φ}\left(x_2^{*}\right),...,\mathrm{\φ}\left(x_p^{*}\right)\]\\ \mathrm{\φ}\left(Y\right)=\[\mathrm{\φ}\left(y_1^{*}\right),\mathrm{\φ}\left(y_2^{*}\right),...,\mathrm{\φ}\left(y_q^{*}\right)\]\end{array}---\left(3\right)$

根据核函数的定义，核的计算为：

k(x_i,x_j)＝〈φ(x_i),φ(x_j)〉＝〈φ(x_j),φ(x_i)〉＝k(x_j,x_i) (4)

其中，〈〉表示两个向量之间的内积。

由式(3)和(4)可以得到p×p的核矩阵，也就是Gram矩阵，有

K＝φ^T(X)φ(X) (5)

其中K＝(k_ij),(i＝1,2,…,p；j＝1,2,…,q)，故

α_φ(X)＝φ(X)a_φ(X),β_φ(Y)＝φ(Y)b_φ(Y) (6)

其中α_φ(X)、β_φ(Y)是在高维空间中的投影方向；a_φ(X)、b_φ(Y)是另一组系数。联立式(4)和(5)，代入约束条件中，得到

${\mathrm{\α}}_{\mathrm{\φ}\left(X\right)}^T{\mathrm{\φ}}^T\left(X\right)\mathrm{\φ}\left(X\right){\mathrm{\α}}_{\mathrm{\φ}\left(X\right)}={a^T}_{\mathrm{\φ}\left(X\right)}\mathrm{\φ}\left(X\right){\mathrm{\φ}}^T\left(X\right)\mathrm{\φ}\left(X\right){\mathrm{\φ}}^T\left(X\right)a_{\mathrm{\φ}\left(X\right)}={a^T}_{\mathrm{\φ}\left(X\right)}{\mathrm{KKa}}_{\mathrm{\φ}\left(X\right)}=1---\left(7\right)$

同理，另一个约束条件为

${\mathrm{\β}}_{\mathrm{\φ}\left(Y\right)}^T{\mathrm{\φ}}^T\left(Y\right)\mathrm{\φ}\left(Y\right){\mathrm{\β}}_{\mathrm{\φ}\left(Y\right)}={b^T}_{\mathrm{\φ}\left(Y\right)}{\mathrm{KKb}}_{\mathrm{\φ}\left(Y\right)}=1---\left(8\right)$

因此，由式(6)，(7)，(8)可以求得约束条件为

$\left\{\begin{array}{c}{a^T}_{\mathrm{\φ}\left(X\right)}{K}_x{K}_x{a}_{\mathrm{\φ}\left(X\right)}+{{\mathrm{Ka}}^T}_{\mathrm{\φ}\left(X\right)}{K}_x{K}_x{a}_{\mathrm{\φ}\left(X\right)}=1\\ {b^T}_{\mathrm{\φ}\left(Y\right)}{K}_y{K}_y{b}_{\mathrm{\φ}\left(Y\right)}+{{\mathrm{Kb}}^T}_{\mathrm{\φ}\left(Y\right)}{K}_y{K}_y{b}_{\mathrm{\φ}\left(Y\right)}=1\end{array}\right.---\left(9\right)$

到此为止KCCA就转换成了一个最优化问题。

对上述最优化问题进行求解。利用拉格朗日乘数法，可以得到(为了简化我们令a_φ(X)＝a,b_φ(Y)＝b)

$L({\mathrm{\λ}}_x,{\mathrm{\λ}}_y,a,b)=a^T{K}_x{K}_{y}b-\frac{{\mathrm{\λ}}_x}{2}(a^T{K}_x{K}_{x}a+{\mathrm{ka}}^T{K}_{x}a-1)-\frac{{\mathrm{\λ}}_y}{2}(b^T{K}_y{K}_{y}b+{\mathrm{kb}}^T{K}_{y}b-1)---\left(10\right)$

分别对a，b求偏导，有

$\left\{\begin{array}{c}\frac{\∂L}{\∂a}=K_x{K}_{y}b-{\mathrm{\λ}}_x(K_x^{2}a+{\mathrm{kK}}_{x}a)=0\\ \frac{\∂L}{\∂b}=K_y{K}_{x}a-{\mathrm{\λ}}_y(K_y^{2}b+{\mathrm{kK}}_{y}b)=0\end{array}\right.---\left(11\right)$

将式(11)中第1式左乘a^T，第2式左乘b^T，将两式相减得

$0={\mathrm{\λ}}_y{b}^T(K_y^{2}b+{\mathrm{kK}}_{y}b)-{\mathrm{\λ}}_x{a}^T(K_x^{2}a+{\mathrm{kK}}_{x}a)---\left(12\right)$

又λ_x＝λ_y＝λ，从而可以推导出b为

$b=\frac{{(K_y+kI)}^{-1}{K}_y^{-1}{K}_y{K}_{x}a}{\mathrm{\λ}}=\frac{{(K_y+kI)}^{-1}{K}_{x}a}{\mathrm{\λ}}---\left(13\right)$

代入(11)第1式得到只含a的特征方程

(K_x+kI)^-1K_y(K_y+kI)^-1K_xa＝λ²a (14)

解方程式(14)即可求得特征值λ_i＞0和对应的a。

与现有技术相比，本发明的优点和效果在于：1)核技术的引入成功地将线性的典型相关分析推广到非线性，可提取到更有鉴别力的特征，并且避免了对映射后的矩阵进行分解，从而简化了数据运算。2)本发明构建的核典型相关分析算法巧妙地将两组特征矢量之间的相关性特征作为有效判别信息，既达到了信息融合之目的，又消除了特征之间的信息冗余，在分类中取得了很好的结果。

附图说明

图1一种基于核典型相关分析的特征融合方法流程图

具体实施方式

如图1所示，本发明总体流程如下：首先，利用核函数将图像矩阵映射到核空间；其次，抽取同一模式的两组特征向量，在两组特征向量之间建立描述它们的相关性的判据准则函数；然后依此准则函数抽取两组典型投影矢量集；最后通过给定的特征融合策略提取组合的典型相关特征应用于分类识别。

本发明具体步骤如下：

Step1：利用核函数将图像矩阵映射到核空间

将原始数据X与Y映射到高维特征空间变为φ(X)、φ(Y)，此时

$\begin{array}{c}\mathrm{\φ}\left(X\right)=\[\mathrm{\φ}\left(x_1^{*}\right),\mathrm{\φ}\left(x_2^{*}\right),...,\mathrm{\φ}\left(x_p^{*}\right)\]\\ \mathrm{\φ}\left(Y\right)=\[\mathrm{\φ}\left(y_1^{*}\right),\mathrm{\φ}\left(y_2^{*}\right),...,\mathrm{\φ}\left(y_q^{*}\right)\]\end{array}---\left(15\right)$

根据核函数的定义，核的计算为：

k(x_i,x_j)＝〈φ(x_i),φ(x_j)〉＝〈φ(x_j),φ(x_i)〉＝k(x_j,x_i) (16)

其中，〈〉表示两个向量之间的内积.

由式(15)和(16)可以得到p×p的核矩阵，也就是Gram矩阵，有

K＝φ^T(X)φ(X) (17)

Step2：提取同一模式的两组特征向量，在两组特征向量之间建立描述它们的相关性的判据准则函数

1)描述两组随机变量之间的相关性的公式为：

$\mathrm{\ρ}=\frac{{\mathrm{\α}}^T{S}_{xy}\mathrm{\β}}{\sqrt{{\mathrm{\α}}^T{S}_{xx}\mathrm{\α}\·{\mathrm{\β}}^T{S}_{yy}\mathrm{\β}}}---\left(18\right)$

2)因为α和β的范数乘积决定了相关联函数的泛化质量，因此我们在α和β之前加上惩罚因子，则上式变为：

$\mathrm{\ρ}=\frac{{\mathrm{\α}}^T{S}_{xy}{\mathrm{\β}}^T}{\sqrt{({\mathrm{\α}}^T{S}_{xx}\mathrm{\α}+k|\left|\mathrm{\α}\right|{|}^2)\·({\mathrm{\β}}^T{S}_{yy}\mathrm{\β}+k\left|\right|\mathrm{\β}\left|{|}^2\right)}}---\left(19\right)$

Step3：根据所建立的准则函数求出两组典型投影矢量集

1)核典型相关分析模型的建立：

由α_φ(X)＝φ(X)a_φ(X),β_φ(Y)＝φ(Y)b_φ(Y)，其中α_φ(X)、β_φ(Y)是在高维空间中的投影方向；

a_φ(X)、b_φ(Y)是另一组系数。联立式(16)和(17)，代入约束条件式中，得到

$\left\{\begin{array}{c}{a^T}_{\mathrm{\φ}\left(X\right)}{K}_x{K}_x{a}_{\mathrm{\φ}\left(X\right)}+{{\mathrm{Ka}}^T}_{\mathrm{\φ}\left(X\right)}{K}_x{K}_x{a}_{\mathrm{\φ}\left(X\right)}=1\\ {b^T}_{\mathrm{\φ}\left(Y\right)}{K}_y{K}_y{b}_{\mathrm{\φ}\left(Y\right)}+{{\mathrm{Kb}}^T}_{\mathrm{\φ}\left(Y\right)}{K}_y{K}_y{b}_{\mathrm{\φ}\left(Y\right)}=1\end{array}\right.---\left(20\right)$

到此为止KCCA就转换成了一个最优化问题。

2)模型求解：

对上述最优化问题进行求解，采用拉格朗日乘子法，可以得到(为了简化我们令a_φ(X)＝a,b_φ(Y)＝b)

$L({\mathrm{\λ}}_x,{\mathrm{\λ}}_y,a,b)=a^T{K}_x{K}_{y}b-\frac{{\mathrm{\λ}}_x}{2}(a^T{K}_x{K}_{x}a+{\mathrm{ka}}^T{K}_{x}a-1)-\frac{{\mathrm{\λ}}_y}{2}(b^T{K}_y{K}_{y}b+{\mathrm{kb}}^T{K}_{y}b-1)---\left(21\right)$

分别对a，b求偏导，有

$\left\{\begin{array}{c}\frac{\∂L}{\∂a}=K_x{K}_{y}b-{\mathrm{\λ}}_x(K_x^{2}a+{\mathrm{kK}}_{x}a)=0\\ \frac{\∂L}{\∂b}=K_y{K}_{x}a-{\mathrm{\λ}}_y(K_y^{2}b+{\mathrm{kK}}_{y}b)=0\end{array}\right.---\left(22\right)$

将式(22)中第1式左乘a^T，第2式左乘b^T，将两式相减得

$0={\mathrm{\λ}}_y{b}^T(K_y^{2}b+{\mathrm{kK}}_{y}b)-{\mathrm{\λ}}_x{a}^T(K_x^{2}a+{\mathrm{kK}}_{x}a)---\left(23\right)$

又λ_x＝λ_y＝λ，从而可以推导出b为

$b=\frac{{(K_y+kI)}^{-1}{K}_y^{-1}{K}_y{K}_{x}a}{\mathrm{\λ}}=\frac{{(K_y+kI)}^{-1}{K}_{x}a}{\mathrm{\λ}}---\left(24\right)$

代入(22)第1式得到只含a的特征方程

(K_x+kI)^-1K_y(K_y+kI)^-1K_xa＝λ²a (25)

解方程式(25)即可求得特征值λ_i＞0和对应的a。

Step4：通过给定的特征融合策略提取组合的典型相关特征应用于分类识别

1)将所提取的两组特征融合：

特征融合是将所提取的不同特征通过某种方法生成新的特征，从而使生成的新特征对分类效果更好。特征级融合有两个明显的优势：首先它保留了绝大部分多特征集中的判别信息，其次它能够去除由于主客观因素带来的冗余信息。常用的融合策略有串行融合和并行融合，本发明采用并行融合的策略。

2)分类：

本发明采用最近邻分类器对融合后的特征进行分类。

Claims (5)

1.一种基于核典型相关分析的特征融合方法，其特征在于，包括以下步骤：

步骤1、利用核函数将图像矩阵映射到核空间；

步骤2、提取同一模式的两组特征向量，在两组特征向量之间建立描述它们的相关性的判据准则函数；

步骤3、根据所建立的准则函数求出两组典型投影矢量集；

步骤4、通过给定的特征融合策略提取组合的典型相关特征应用于分类识别。

2.根据权利要求1所述的基于核典型相关分析的特征融合方法，所述步骤1中，利用核函数将图像矩阵映射到核空间，其特征在于：

将原始数据X与Y映射到高维特征空间变为φ(X)、φ(Y)，此时

$\begin{array}{c}\mathrm{\φ}\left(X\right)=\[\mathrm{\φ}\left(x_1^{*}\right),\mathrm{\φ}\left(x_2^{*}\right),...,\mathrm{\φ}\left(x_p^{*}\right)\]\\ \mathrm{\φ}\left(Y\right)=\[\mathrm{\φ}\left(y_1^{*}\right),\mathrm{\φ}\left(y_2^{*}\right),...,\mathrm{\φ}\left(y_q^{*}\right)\]\end{array}---\left(1\right)$

根据核函数的定义，核的计算为：

k(x_i,x_j)＝〈φ(x_i),φ(x_j)〉＝〈φ(x_j),φ(x_i)〉＝k(x_j,x_i) (2)

其中，〈〉表示两个向量之间的内积.

由式(1)和(2)可以得到p×p的核矩阵，也就是Gram矩阵，有

K＝φ^T(X)φ(X) (3)

3.根据权利要求1所述的基于核典型相关分析的特征融合方法，所述步骤2中，提取同一模式的两组特征向量，在两组特征向量之间建立描述它们的相关性的判据准则函数，其特征在于：

描述两组随机变量之间的相关性的公式为：

$\mathrm{\ρ}=\frac{{\mathrm{\α}}^T{S}_{xy}\mathrm{\β}}{\sqrt{{\mathrm{\α}}^T{S}_{xx}\mathrm{\α}\·{\mathrm{\β}}^T{S}_{yy}\mathrm{\β}}}---\left(4\right)$

因为α和β的范数乘积决定了相关联函数的泛化质量，因此我们在α和β之前加上惩罚因子，则上式变为：

$\mathrm{\ρ}=\frac{{\mathrm{\α}}^T{S}_{xy}{\mathrm{\β}}^T}{\sqrt{({\mathrm{\α}}^T{S}_{xx}\mathrm{\α}+k|\left|\mathrm{\α}\right|{|}^2)\·({\mathrm{\β}}^T{S}_{yy}\mathrm{\β}+k\left|\right|\mathrm{\β}\left|{|}^2\right)}}---\left(5\right)$

4.根据权利要求1所述的基于核典型相关分析的特征融合方法，所述步骤3中，根据所建立的准则函数求出两组典型投影矢量集，其特征在于：

1)核典型相关分析模型的建立：

由α_φ(X)＝φ(X)a_φ(X),β_φ(Y)＝φ(Y)b_φ(Y)，其中α_φ(X)、β_φ(Y)是在高维空间中的投影方向；

a_φ(X)、b_φ(Y)是另一组系数。联立式(2)和(3)，代入约束条件中，得到

$\left\{\begin{array}{c}{a^T}_{\mathrm{\φ}\left(X\right)}{K}_x{K}_x{a}_{\mathrm{\φ}\left(X\right)}+{{\mathrm{Ka}}^T}_{\mathrm{\φ}\left(X\right)}{K}_x{K}_x{a}_{\mathrm{\φ}\left(X\right)}=1\\ {b^T}_{\mathrm{\φ}\left(Y\right)}{K}_y{K}_y{b}_{\mathrm{\φ}\left(Y\right)}+{{\mathrm{Kb}}^T}_{\mathrm{\φ}\left(Y\right)}{K}_y{K}_y{a}_{\mathrm{\φ}\left(Y\right)}=1\end{array}\right.---\left(6\right)$

到此为止KCCA就转换成了一个最优化问题。

2)模型求解：

对上述最优化问题进行求解，采用拉格朗日乘子法，可以得到(为了简化我们令a_φ(X)＝a,b_φ(Y)＝b)

$L({\mathrm{\λ}}_x,{\mathrm{\λ}}_y,a,b)=a^T{K}_x{K}_{y}b-\frac{{\mathrm{\λ}}_x}{2}(a^T{K}_x{K}_{x}a+{\mathrm{ka}}^T{K}_{x}a-1)-\frac{{\mathrm{\λ}}_y}{2}(b^T{K}_y{K}_{y}b+{\mathrm{kb}}^T{K}_{y}b-1)---\left(7\right)$

分别对a，b求偏导，有

$\left\{\begin{array}{c}\frac{\∂L}{\∂a}=K_x{K}_{y}b-{\mathrm{\λ}}_x(K_x^{2}a+{\mathrm{kK}}_{x}a)=0\\ \frac{\∂L}{\∂b}=K_y{K}_{x}a-{\mathrm{\λ}}_y(K_y^{2}b+{\mathrm{kK}}_{x}b)=0\end{array}\right.---\left(8\right)$

将式(8)中第1式左乘a^T，第2式左乘b^T，将两式相减得

$0={\mathrm{\λ}}_y{b}^T(K_y^{2}b+{\mathrm{kK}}_{y}b)-{\mathrm{\λ}}_x{a}^T(K_x^{2}a+{\mathrm{kK}}_{x}a)---\left(9\right)$

又λ_x＝λ_y＝λ，从而可以推导出b为

$b=\frac{{(K_y+kI)}^{-1}{K}_y^{-1}{K}_y{K}_{x}a}{\mathrm{\λ}}=\frac{{(K_y+kI)}^{-1}{K}_{x}a}{\mathrm{\λ}}---\left(10\right)$

代入(8)第1式得到只含a的特征方程

(K_x+kI)^-1K_y(K_y+kI)^-1K_xa＝λ²a (11)

解方程式(11)即可求得特征值λ_i＞0和对应的a。

5.根据权利要求1所述的基于核典型相关分析的特征融合方法，所述步骤4中，通过给定的特征融合策略提取组合的典型相关特征应用于分类识别，其特征在于：

1)将所提取的两组特征融合：

特征融合是将所提取的不同特征通过某种方法生成新的特征，从而使生成的新特征对分类效果更好。特征级融合有两个明显的优势：首先它保留了绝大部分多特征集中的判别信息，其次它能够去除由于主客观因素带来的冗余信息。常用的融合策略有串行融合和并行融合，本发明采用并行融合的策略。

2)分类：

本发明采用最近邻分类器对融合后的特征进行分类。