CN104899604A - 一种基于数据集合并的特征级融合方法 - Google Patents

Abstract

本发明公开了一种基于数据集合并的特征级融合方法。包括训练过程和识别过程，从两个传感器分别获取数据集，基于耦合映射方法的特性将耦合空间里的所有数据合并为同一个数据集，其数据容量为原始两个集合的样本数之和，之后进行二次特征提取，得到一个最终所需的特征集合，而后加入常规特征级融合方法得到另一个更具分类判别能力的特征集合，从而提高模式识别系统的识别率。对任意形式的测试对象进行变换得到最终特征，并采用这一特征与训练特征集合里的特征进行匹配，得到识别结果。本发明能够扩大特征级融合的应用范围，提高识别率。

Description

一种基于数据集合并的特征级融合方法

技术领域

本发明属于模式识别和数据融合领域，尤其涉及基于双模态的生物特征融合与识别的，一种基于数据集合并的特征级融合方法。

背景技术

在生物特征识别系统中，采用单一数据进行处理时，性能并不稳定，并且错误率高，此时常用的解决方法是数据融合技术。目前在数据融合技术中，特征级融合是研究的热点。特征级融合首先对预处理后的原始数据进行特征提取，再将提取到的特征进行融合，得到相对稳定的特征从而完成所需的识别目的。例如，上海交通大学的发明专利——基于目标检测的红外与可见光序列图像特征级融合方法，专利公开号CN1932882A，对红外与可见光两种图像提取的小波系数进行加权平均得到融合特征。

常规的特征级融合存在诸多不足，主要表现在两个方面：一方面在特征提取过程中，大多数方法只能对两个数据集合分别进行处理，最终得到的两组特征矢量是完全独立的，仍然是两种不同的特征，将这样的特征进行融合仅仅是增加了特征所包含的信息量，从理论上并不能保证所得特征具有更好的分类效果；另一方面常规的特征级融合方法在应用时都必须要求测试数据包含两个集合的数据，然而在实际应用中，这一点并不一定能够满足，例如有时测试数据只有一种，或者虽然有两种，但其中一种数据由于信息采集错误等原因无法正常使用，因此限制了特征级融合的应用范围。

发明内容

本发明的目的是针对常规特征级融合方法在实际应用中的不足，提出一种能够扩大应用范围、识别率高的，基于数据集合并的特征级融合方法。

本发明是通过以下技术方案实现的：

一种基于数据集合并的特征级融合方法，包括训练过程和识别过程，利用两个视频传感器采集数据，

所述的训练过程包括以下几个步骤：

a1两个视频传感器采集的原始数据分别为数据集和采用耦合映射方法将数据集和投影到一个公共的耦合空间，求得数据集X的耦合特征Z_x和数据集Y的耦合特征Z_y；

a2将上一步得到的所有耦合特征合并成一个数据集Z＝[Z_x,Z_y]，该数据集容量为数据集X和数据集Y的样本数之和；

a3对数据集Z进行二次特征提取，得到一个融合的特征集

a4对步骤a3中得到的特征集Z′进行特征级融合，得到最终特征集合Z″；

所述的识别过程包括以下几个步骤：

b1对任意测试对象进行变换得到最终特征，

当测试对象只有单一集合的数据时，通过二次特征提取，得到的当前测试对象的融合的特征Z₀′为最终特征；

当测试对象为两个集合的数据时，先分别对两个集合的数据进行二次特征提取，然后进行特征级融合，得到最终特征Z₀″；

所述的二次特征提取的方法与步骤a3中的一致，所述的特征级融合与步骤a3中的一致；b2将得到的最终特征Z₀′与训练过程得到的融合的特征集Z′里的特征进行匹配，采用最近邻分类器得到识别结果；

将得到的最终特征Z₀″与训练过程得到的融合的特征集Z″里的特征进行匹配，采用最近邻分类器得到识别结果。

本发明一种基于数据集合并的特征级融合方法还可以包括：

1、求得数据集X的耦合特征Z_x和数据集Y的耦合特征Z_y的方法为：

c1、两个数据集和分别来自两个视频传感器，样本数分别为N_x和N_y，利用非线性映射将原始数据映射到高维的Hilbert空间F中，并定义两个核函数 $K_{i,j}^x=({\mathrm{\φ}}_x\left(x_i\right)\·{\mathrm{\φ}}_x\left(x_j\right)),K_{i,j}^y=({\mathrm{\φ}}_y\left(y_i\right)\·{\mathrm{\φ}}_y\left(y_j\right)),$ 则耦合映射的目标函数为：

$\min J(A_x,A_y)=\min \mathrm{Tr}\left({\left[\begin{array}{c}{A}_x\\ A_y\end{array}\right]}^T\left[\begin{array}{cc}{\tilde{K}}^x& \\ & {\tilde{K}}^y\end{array}\right]\left[\begin{array}{cc}{G}_x& C\\ -C^T& G_y\end{array}\right]{\left[\begin{array}{cc}{\tilde{K}}^x& \\ & {\tilde{K}}^y\end{array}\right]}^T\left[\begin{array}{c}{A}_x\\ A_y\end{array}\right]\right)$

其中，Tr(·)表示求矩阵的迹，A_x和A_y为耦合变换矩阵对，和为中心化后的核矩阵，C为集合X和Y之间的相关关系矩阵，矩阵G_x和G_y都是对角阵，其对角线元素分别为矩阵C的对应行的累加和，对应列的累加和，

求得数据集X的变换矩阵A_x，其大小为N_x×D_c，数据集Y的变换矩阵A_y，其大小为N_y×D_c；

c2、利用变换矩阵A_x和A_y，求得数据集X的耦合特征其大小为D_c×N_x，数据集Y的耦合特征其大小为D_c×N_y。

2、二次特征提取方法包括主成分分析PCA和线性判别分析LDA。

3、特征级融合方法包含特征串联、特征并联和特征加权平均。

有益效果

本发明提供一种基于数据集合并的特征级融合方法，该方法中的数据集从两个传感器中分别获取(如从两个视频传感器中获取的不同视角的行人视频数据)，本发明可广泛应用于模式识别领域，以得到稳定的特征进行分类识别。

采用耦合映射同时处理两个数据集合，所得到的特征具有较强的相关性，将两个集合的特征很好地统一到一起，对这样的特征进行融合，从理论上讲更为合理。

在识别时，测试数据既可以包含两个集合的数据，也可以只有单一集合的数据，即：可对任意测试对象进行处理，从而大大扩展了特征级融合的应用范围。

在处理多视角的步态识别时，传统方法(传统处理单集合的PCA、KPCA方法以及常规特征级融合方法)与本专利所提方法的识别率比较如图4所示，从图中可以看出本发明所提方法的识别性能优于传统方法，尤其是在步态特征较差的视角下，识别率有了较大提升,其中采用LDA进行二次特征提取取得了最为优越的效果。由此可见，相对于传统方法，本发明所提方法在识别性能方面具有较好的优越性。

基于数据集合并的特征级融合方法的测试数据既可以包含两个集合的数据，也可以只有单一集合的数据，即：可对任意形式的测试对象进行变换得到最终特征，并采用这一特征与训练特征集合里的特征进行匹配，得到识别结果。

附图说明

图1基于数据集合并的特征级融合方法流程图；

图2耦合映射示意图；

图3同一行人不同视角下的步态能量图；

图4在处理多视角的步态识别时传统方法与本专利所提方法的识别率(％)比较图，图4(a)为视角分别为0°和18°的识别率比较图；图4(b)视角分别为36°和54°的识别率比较图；图4(c)视角分别为72°和90°的识别率比较图；

图5为0°和18°两种步态视角时，二次特征提取与直接匹配的性能比较图，图5(a)为识别率的比较图；图5(b)为识别时间的比较图。

具体实施方式

下面将结合附图对本发明做进一步详细说明。

本发明包括训练过程和识别过程如下：

训练过程S1为：采用耦合映射方法将训练集中不同的数据集投影到一个公共的耦合空间，基于耦合映射方法的特性将耦合空间里的所有数据合并为同一个数据集，其数据容量为原始两个集合的样本数之和，之后进行二次特征提取，得到一个最终所需的特征集合，而后加入常规特征级融合方法得到另一个更具分类判别能力的特征集合，从而提高模式识别系统的识别率。

识别过程S2为：对任意形式的测试对象进行变换得到最终特征，并采用这一特征与训练特征集合里的特征进行匹配，得到识别结果。

本发明基于数据集合并的特征级融合方法，如图1所示，本发明中的数据集从两个传感器中分别获取(如从两个视频传感器中获取的不同视角的行人视频数据)，本发明具体包括训练过程和测试过程，具体描述如下：

训练过程：

步骤S11，采用耦合映射方法将训练集中不同的数据集投影到一个公共的耦合空间，从而得到原始数据所对应的耦合特征。

耦合映射是一种为直接处理来自不同集合间的元素之间的距离测度问题所提出的方法。其核心思想是在使不同集合间具有关联性的元素投影后尽可能接近的约束下，将来自两个不同集合的数据投影到同一个耦合空间，而后在这个公共的耦合空间中引入传统的度量学习。图2为耦合映射示意图，其中左图为原始数据分布，右图为耦合空间数据分布，实心与空心表示不同集合，相同形状的数据具有相关关系，不同形状的数据不具有相关关系。

由此可见，这种方法能够很好地将两个集合统一到一起，这里采用核耦合映射，其算法步骤为：

对于两个集合和样本数分别为N_x和N_y，利用非线性映射将原始数据映射到高维的Hilbert空间F中，并定义两个核函数 $K_{i,j}^x=({\mathrm{\φ}}_x\left(x_i\right)\·{\mathrm{\φ}}_x\left(x_j\right)),K_{i,j}^y=({\mathrm{\φ}}_y\left(y_i\right)\·{\mathrm{\φ}}_y\left(y_j\right)),$ 则根据耦合映射的定义，核耦合映射的目标函数为：

$\min J=\min \underset{(i,j)\∈\mathrm{\Ξ}}{\mathrm{\Σ}}{\left|\right|W_a^T{\mathrm{\φ}}_x\left(x_i\right)-W_a^T{\mathrm{\φ}}_y\left(y_j\right)\left|\right|}^2$

其中，Ξ为集合X和Y之间的相关关系集合，W_a为传统度量学习的变换矩阵。

令 ${\mathrm{\Φ}}_x\left(x\right)=[{\mathrm{\φ}}_x\left(x_1\right),{\mathrm{\φ}}_x\left(x_2\right),...,{\mathrm{\φ}}_x\left(x_{N_x}\right)],{\mathrm{\Φ}}_y\left(y\right)=[{\mathrm{\φ}}_y\left(y_1\right),{\mathrm{\φ}}_y\left(y_2\right),...,{\mathrm{\φ}}_y\left(y_{N_y}\right)],$ 则经过等价操作上式可变换为：

$\begin{array}{c}\min J=\min \mathrm{Tr}(W_a^T{\mathrm{\Φ}}_x\left(x\right)G_x{\mathrm{\Φ}}_x{\left(x\right)}^T{W}_a+W_a^T{\mathrm{\Φ}}_y\left(y\right)G_y{\mathrm{\Φ}}_y{\left(y\right)}^T{W}_a\\ -W_a^T{\mathrm{\Φ}}_x\left(x\right)C{\mathrm{\Φ}}_y{\left(y\right)}^T{W}_a-W_a^T{\mathrm{\Φ}}_y\left(y\right)C^T{\mathrm{\Φ}}_x{\left(x\right)}^T{W}_a)\end{array}$

其中，Tr(·)表示求矩阵的迹，C为集合X和Y之间的相关关系矩阵，矩阵G_x和G_y都是对角阵，其对角线元素分别为矩阵C的对应行的累加和，对应列的累加和。进一步变换得到：

$\min J=\min \mathrm{Tr}\left({\left[\begin{array}{c}{W}_a\\ W_a\end{array}\right]}^T\left[\begin{array}{cc}{\mathrm{\Φ}}_x\left(x\right)& \\ & {\mathrm{\Φ}}_y\left(y\right)\end{array}\right]\left[\begin{array}{cc}{G}_x& -C\\ -C^T& G_y\end{array}\right]{\left[\begin{array}{cc}{\mathrm{\Φ}}_x\left(x\right)& \\ & {\mathrm{\Φ}}_y\left(y\right)\end{array}\right]}^T\left[\begin{array}{c}{W}_a\\ W_a\end{array}\right]\right)$

由核空间理论可知，W_a可由集合Φ_x(x)或Φ_y(y)张成，因此令W_a＝Φ_x(x)A_x，W_a＝Φ_y(y)A_y，则：

$\min J=\min \mathrm{Tr}\left({\left[\begin{array}{c}{\mathrm{\Φ}}_x\left(x\right)A_x\\ {\mathrm{\Φ}}_y\left(y\right)A_y\end{array}\right]}^T\left[\begin{array}{cc}{\mathrm{\Φ}}_x\left(x\right)& \\ & {\mathrm{\Φ}}_y\left(y\right)\end{array}\right]\left[\begin{array}{cc}{G}_x& -C\\ -C^T& G_y\end{array}\right]{\left[\begin{array}{cc}{\mathrm{\Φ}}_x\left(x\right)& \\ & {\mathrm{\Φ}}_y\left(y\right)\end{array}\right]}^T\left[\begin{array}{c}{\mathrm{\Φ}}_x\left(x\right)A_x\\ {\mathrm{\Φ}}_y\left(y\right)A_y\end{array}\right]\right)$

由于在高维的特征空间F中很难进行常规的运算，需要利用核函数隐含地描述非线性变换。定义两个核函数 $K_{i,j}^x=({\mathrm{\φ}}_x\left(x_i\right)\·{\mathrm{\φ}}_x\left(x_j\right)),K_{i,j}^y=({\mathrm{\φ}}_y\left(y_i\right)\·{\mathrm{\φ}}_y\left(y_j\right)),$ 这里采用高斯核函数，即：原始数据映射到高维空间后首先需要进行中心化处理，而这一过程可以通过对核矩阵K^x和K^y的中心化来完成。

$\tilde{K}=K-\frac{1}{n}{k1}_{\mathrm{nn}}-\frac{1}{n}{1}_{\mathrm{nn}}K+\frac{1}{n^2}{1}_{\mathrm{nn}}{K1}_{\mathrm{nn}}$

其中，n为核矩阵K的维数，1_nn为元素全为1大小为n×n的矩阵。利用上式对K^x和K^y中心化，得到和则核耦合映射的目标函数最终可变换为：

$\min J(A_x,A_y)=\min \mathrm{Tr}\left({\left[\begin{array}{c}{A}_x\\ A_y\end{array}\right]}^T\left[\begin{array}{cc}{\tilde{K}}^x& \\ & {\tilde{K}}^y\end{array}\right]\left[\begin{array}{cc}{G}_x& C\\ -C^T& G_y\end{array}\right]{\left[\begin{array}{cc}{\tilde{K}}^x& \\ & {\tilde{K}}^y\end{array}\right]}^T\left[\begin{array}{c}{A}_x\\ A_y\end{array}\right]\right)$

令 $A=\left[\begin{array}{c}{A}_x\\ A_y\end{array}\right],K=\left[\begin{array}{cc}{\tilde{K}}^x& \\ & {\tilde{K}}^y\end{array}\right],\mathrm{\Ω}=\left[\begin{array}{cc}{G}_x& -C\\ -C^T& G_y\end{array}\right]$

所述的耦合变换矩阵对A_x和A_y,可以通过求解广义特征值问题：Ea＝λFa来求解，其中E＝KΩK^T,F＝KK^T，a为对应于特征值λ的变换向量。A为对应D_c个最小特征值的特征向量组成的变换矩阵，D_c为耦合特征空间的维数。按照A的定义，能够得到对应于数据集合X的变换矩阵A_x，其大小为N_x×D_c，对应于数据集合Y的变换矩阵A_y，其大小为N_y×D_c。

步骤S12，将步骤S11提取的所有耦合特征合并成一个数据集，其数据容量为原始两个集合的样本数之和。

数据集X和Y经过A_x和A_y进行非线性耦合变换得到耦合空间里的特征矩阵为和其大小分别为D_c×N_x和D_c×N_y。将整个耦合空间里的数据合并为一个集合，则该集合拥有N_x+N_y个D_c维的特征向量，组成矩阵Z＝[Z_x,Z_y]。由于耦合变换是在监督信息的指导下进行，因此得到的特征集合具有较好的可分性。

步骤S13，对步骤S12得到的数据集采用常规方法进行二次特征提取，最终得到一个融合的特征集合。这里的常规方法可以选择主成分分析(PCA)、线性判别分析(LDA)或者其他方法。令变换矩阵为P_d，其大小为D_c×d(d≤D_c)，则经过提取到的最终特征集合为N_x+N_y个d维的特征向量。最终所得到的特征将原始两个集合的特征统一到一起，因此实质上进行了隐含的特征级融合。

步骤S14，采用常规特征级融合方法对步骤S13得到的特征集合里的特征进行融合，得到另一个最终所需的特征集合。这里的常规特征级融合方法包含特征串联、特征并联、特征加权平均等。将Z′中具有对应关系的特征进行融合得到最终特征集合Z″。

对于特征空间W₁和W₂中的两个特征w₁∈W₁和w₂∈W₂，特征串联的表达式为特征并联的表达式为w＝w₁+iw₂(i为虚数单位)，特征加权平均的表达式为w＝αw₁+(1-α)w₂(α∈[0,1])。

识别过程：

步骤S21，对任意测试对象进行变换得到最终特征。

假设测试样本只存在对应于数据集X的测试数据x_i，则可以通过变换得到一个维数为d的特征向量，显然该特征可直接与集合Z′中的特征进行匹配，获得分类结果。而当测试样本包含两个集合的数据x_i、y_i时，采用步骤S14中的常规特征级融合方法对x_i和y_i进行融合，得到融合特征z_i″，显然该特征可直接与集合Z″中的特征进行匹配，获得分类结果。

步骤S22，采用步骤S21得到的最终特征与训练特征集合里的特征进行匹配，采用最近邻分类器得到识别结果。该方法采用特征空间中与测试样本最邻近(距离最小)的注册样本所属的类别作为测试样本的归类，也就是说每个测试样本与离它最近的注册样本归为了一类。

应用本发明提出的特征级融合方法在中科院自动化所提供的CASIA(B)步态数据库上进行试验。CASIA(B)步态数据库包含124个人在0°、18°、36°…180°11个视角下行走的视频序列，其中每个人包含6个正常行走视频序列，2个背包视频序列，2个穿外套视频序列。这里采用正常行走状态下不同视角的步态图像来测试所提特征级融合方法的性能，对视频序列提取步态能量图特征，得到不同视角下的步态能量图，如图3。

本实验选取CASIA(B)步态数据库中的0°和18°、36°和54°、72°和90°三组视角进行融合。训练集和注册集选取每个视角的前三组图像，测试集则为后三组图像，采用最近邻分类器分类识别。实验中PCA和KPCA(Kernel PCA)仅对单一视角下的数据集合分别进行训练，在测试视角只有一种时采用单一视角进行识别，而在测试视角有两种时，对PCA和KPCA所得特征采用常规特征级融合方法进行融合。耦合映射对两种视角的训练数据集合进行训练，识别时分别采用三种测试数据集合，以0°和18°为例测试视角分别为0°、18°、0°+18°视角。实验中高斯核函数的参数c＝0.02，二次特征提取方法分别选取PCA和LDA算法，常规特征级融合方法采用加权平均的方法，发明专利CN1932882A中所提方法，其中的权值为α＝0.5。

在处理多视角的步态识别时，传统方法，传统处理单集合的PCA、KPCA方法以及常规特征级融合方法，与本专利所提方法的识别率比较如图4所示，从图中可以看出本发明所提方法的识别性能优于传统方法，尤其是在步态特征较差的视角下，识别率有了较大提升,其中采用LDA进行二次特征提取取得了最为优越的效果。由此可见，相对于传统方法，本发明所提方法在识别性能方面具有较好的优越性。由于本发明所提方法需要进行二次特征提取，从理论上讲其识别速度会受到影响，因此这里对进行二次特征提取与直接匹配的性能做了对比，如图5所示，该数据是在CPU2.93GHz，2GB内存，MATLAB7.1环境下得到的，从图中可以看出经过二次特征提取后，识别性能有了一定提升，而所需的识别时间并未大幅增加。这是由于一方面二次特征提取的处理对象是低维特征向量，所需时间较少；另一方面经过二次特征提取得到的特征维数也会低于原特征，从而降低特征匹配所需时间。因此，本发明所提方法能够满足实时性需求。

本发明提出一种新颖的特征级融合方法。与传统方法相比，由于本发明所提方法采用耦合映射方法将两个集合的特征进行了统一，从理论上得到了更适合融合的特征；同时在应用时，本发明所提方法既可以对两个集合的数据进行测试，也可以只对单一集合的数据进行测试，因此比常规特征级融合方法有更加广泛的应用空间。

本发明从两个传感器分别获取数据集，在训练时，采用耦合映射方法将不同的数据集投影到一个公共的耦合空间，基于耦合映射方法的特性将耦合空间里的所有数据合并为同一个数据集，其数据容量为原始两个集合的样本数之和，之后进行二次特征提取，得到一个最终所需的特征集合，而后加入常规特征级融合方法得到另一个最终所需的特征集合。而在识别时，与常规特征级融合方法要求测试数据必须包含两个集合的数据不同，基于数据集合并的特征级融合方法的测试数据既可以包含两个集合的数据，也可以只有单一集合的数据，即：可对任意形式的测试对象进行变换得到最终特征，并采用这一特征与训练特征集合(单一数据采用前一种特征集合，两种数据采用后一种特征集合)里的特征进行匹配，得到识别结果。该方法可广泛应用于模式识别领域，以得到稳定的特征进行分类识别。本发明提出的特征级融合方法可以广泛应用于模式识别领域，尤其是基于双模态的生物特征融合与识别。

Claims (4)

1.一种基于数据集合并的特征级融合方法，其特征在于：包括训练过程和识别过程，利用两个视频传感器采集数据，

所述的训练过程包括以下几个步骤：

a1两个视频传感器采集的原始数据分别为数据集和采用耦合映射方法将数据集和投影到一个公共的耦合空间，求得数据集X的耦合特征Z_x和数据集Y的耦合特征Z_y；

a2将上一步得到的所有耦合特征合并成一个数据集Z＝[Z_x,Z_y]，该数据集容量为数据集X和数据集Y的样本数之和；

a3对数据集Z进行二次特征提取，得到一个融合的特征集

a4对步骤a3中得到的特征集Z′进行特征级融合，得到最终特征集合Z″；

所述的识别过程包括以下几个步骤：

b1对任意测试对象进行变换得到最终特征，

当测试对象只有单一集合的数据时，通过二次特征提取，得到的当前测试对象的融合的特征Z′₀为最终特征；

当测试对象为两个集合的数据时，先分别对两个集合的数据进行二次特征提取，然后进行特征级融合，得到最终特征Z″₀；

所述的二次特征提取的方法与步骤a3中的一致，所述的特征级融合与步骤a3中的一致；b2将得到的最终特征Z′₀与训练过程得到的融合的特征集Z′里的特征进行匹配，采用最近邻分类器得到识别结果；

将得到的最终特征Z″₀与训练过程得到的融合的特征集Z″里的特征进行匹配，采用最近邻分类器得到识别结果。

2.根据权利要求1所述的一种基于数据集合并的特征级融合方法，其特征在于：所述求得数据集X的耦合特征Z_x和数据集Y的耦合特征Z_y的方法为：

c1、两个数据集和分别来自两个视频传感器，样本数分别为N_x和N_y，利用非线性映射将原始数据映射到高维的Hilbert空间F中，并定义两个核函数 $K_{i,j}^x=({\mathrm{\φ}}_x\left(x_i\right)\·{\mathrm{\φ}}_x\left(x_j\right)),K_{i,j}^y=({\mathrm{\φ}}_y\left(y_i\right)\·{\mathrm{\φ}}_y\left(y_j\right)),$ 则耦合映射的目标函数为：

$\min J(A_x,A_y)=\min \mathrm{Tr}\left({\left[\begin{array}{c}{A}_x\\ A_y\end{array}\right]}^T\left[\begin{array}{cc}{\tilde{K}}^x& \\ & {\tilde{K}}^y\end{array}\right]\left[\begin{array}{cc}{G}_x& -C\\ -C^T& G_y\end{array}\right]{\left[\begin{array}{cc}{\tilde{K}}^x& \\ & {\tilde{K}}^y\end{array}\right]}^T\left[\begin{array}{c}{A}_x\\ A_y\end{array}\right]\right)$

其中，Tr(·)表示求矩阵的迹，A_x和A_y为耦合变换矩阵对，和为中心化后的核矩阵，C为集合X和Y之间的相关关系矩阵，矩阵G_x和G_y都是对角阵，其对角线元素分别为矩阵C的对应行的累加和，对应列的累加和，

求得数据集X的变换矩阵A_x，其大小为N_x×D_c，数据集Y的变换矩阵A_y，其大小为N_y×D_c；

c2、利用变换矩阵A_x和A_y，求得数据集X的耦合特征其大小为D_c×N_x，数据集Y的耦合特征其大小为D_c×N_y。

3.根据权利要求1所述的一种基于数据集合并的特征级融合方法，其特征在于：所述的二次特征提取方法包括主成分分析PCA和线性判别分析LDA。

4.根据权利要求1所述的一种基于数据集合并的特征级融合方法，其特征在于：所述的特征级融合方法包含特征串联、特征并联和特征加权平均。