CN108537137B - 基于标签鉴别相关分析的多模态生物特征融合识别方法 - Google Patents

Abstract

本发明公开了一种基于标签鉴别相关分析的多模态生物特征层融合识别方法。首先将特征集与类别标签信息进行融合，为其建立准则函数，利用拉格朗日函数得出最优的投影向量，获取带有类别信息的特征集；其次针对带有类别信息的特征集，最小化其类内散度矩阵的同时，最大化两个模态特征集间协方差矩阵的相关性，抽取出具有更高鉴别能力的特征向量；最后，将所提出的融合方法应用到多模态特征中进行融合，实验结果验证了本申请所提出方法的有效性以及两种算法结合的合理性。

Description

基于标签鉴别相关分析的多模态生物特征融合识别方法

技术领域

本发明属于生物特征识别领域，特别涉及一种基于标签鉴别相关分析的多模态生物特征层融合识别方法。

背景技术

随着人工智能的高速发展，单模态的生物特征识别技术，如掌纹识别、虹膜识别、手势识别等，虽然取得了很好的效果，但是由于其单一性，已不能满足现在社会的安全性要求。多模态融合识别是将同一种模态的多个不同的生物特征或者多个不同的局部特征，通过采用某种融合规则，融合为一个整体进行识别，具有很强的安全性与可识别性，已成为近年来的研究热点。根据不同信息的融合，多模态生物特征融合技术可分为传感器层融合、特征层的融合、分数层融合、决策层融合。其中，特征层融合提取的是同一种模态的不同的特征，对这些特征进行组合且优化，既保留了较多的原始样本的信息，又可消除不同特征之间的冗余信息，从理论上来讲可以获取最高的融合性能。

最典型的特征融合方法是串行融合方法和并行融合方法。串行融合方法是将两个特征向量x，y首尾相连形成一个新的特征向量z，假设特征向量x的维度为p维，特征向量y的维度为q维，则新的特征向量z的维度为(p+q)维；并行融合方法是将两个特征向量构成一个复数向量z＝x+iy(i表示虚数单位)，如果两个特征向量的维度不相等，则维数低的特征向量补0。但是串行融合和并行融合容易造成“维数灾难”问题，如果两个特征向量维数不等的情况下，低维补0也增加了冗余信息。

孙权森等人利用典型相关分析，通过最大化两个特征向量在投影空间中的相关性达到特征融合的目的，实验效果优于串行融合和并行融合，成功应用于人脸等图像识别中。但是典型相关分析没有利用到类别标签的信息，一定程度上降低了算法的性能。LDA方法是将高维的样本投影到低维空间，使投影后的样本有最大类间距离和最小类内距离，其缺点是提取的特征向量的最大维数易受到类别数目的限制。Sun等人提出了一种鉴别型典型相关分析，不仅考虑了同类样本特征间的相关性，也考虑了不同类样本特征间的相关性，可最大化类内的相关性和最小化类间相关性。其缺点与LDA一样，抽取的最大特征维数易受到类别数目的影响，降低了算法的性能。广义典型相关分析通过最小化类内散度矩阵，约束类内散度矩阵达到利用类别标签信息的目的，提高了特征的鉴别能力。核典型相关分析通过核函数将样本特征映射到核空间中，在核空间中进行特征提取，核典型相关分析是典型相关分析的扩展方法，没有利用类别标签信息。Haghighat等人提出了鉴别型相关分析，通过单位化类间散度矩阵去除了不同类别特征之间的相关性，从而达到利用类别信息的目的。

发明内容

本发明的目的是针对基于特征层生物特征融合在多模态特征融合识别领域的不足进行改进，提供一种基于标签鉴别相关分析的多模态生物特征层融合识别方法。

为了实现上述目的，本发明采用以下技术方案：一种基于标签鉴别相关分析的多模态生物特征融合识别方法，包括以下步骤：

步骤1：输入多模态图像的特征向量；

步骤2：针对不同生物特征，将类别标签和生物特征进行融合，进而得到带有类别标签信息的特征集；

步骤3：将步骤2获得的不同模态特征集进行融合，利用两者之间的最大相关性，建立准则函数求出投影向量，进而求出融合后的特征集；

步骤4：将步骤3中得到的特征集分别采用并行融合和串行融合的方法，通过最邻近方法进行分类识别。

进一步的，步骤2中类别标签和特征融合采用以下步骤：

步骤2.1：选取一组样本特征集X和Y进行中心化处理，中心化后的特征：X∈R^p×1和Y∈R^q×1；

步骤2.2：对生物特征X通过式1建立特征集与c个类别标签L(N₁,N₂,…,N_c)间的最大相关性：

其中：N表示训练样本的数目，w_X和w_L为投影方向，C_XX和C_L分别为特征集X与类别标签L的协方差矩阵，C_XL表示特征集X与类别标签之间的互协方差矩阵，见式2：

C_XX＝X^TX，C_L＝L^TL，C_XL＝X^TL，其中T为矩阵转置标记 (2)

对于准则函数J，采用式3的约束条件以及式4，分别对w_X和w_L进行求导求出w_X和w_L：

w_X ^TC_XXw_X＝1,w_L ^TC_Lw_L＝1 (3)

L(w_x,w_l)＝w_X ^TC_XLw_L-λ₁(w_X ^TC_XXw_X-1)-λ₂(w_L ^TC_Lw_L-1) (4)

其中，λ₁和λ₂为拉格朗日乘子；

步骤2.3：采用步骤2.2的方法针对生物特征Y，求解得出特征集Y在类别标签上的投影w_Y，

步骤2.4：根据式5求出带有标签信息的特征集合：

进一步的，步骤3中投影向量的提取采用以下步骤：

步骤3.1：将步骤2获得的带有标签信息的特征集，采用式6至8求出相对应的类间协方差矩阵S_b，X'的类内散度矩阵S_WX'，以及Y'的类内散度矩阵S_WY'；

其中，

表示第i类的均值向量，

是所有样本的均值向量，S_wx和S_wy分别表示X，Y的类内散度矩阵，S_b表示X与Y的类间协方差矩阵；

步骤3.2：为获取两个特征集之间的最大相关性，建立式9准则函数模型，对类内散度矩阵进行约束以保证唯一解，约束形式如式10：

u^TS_WX'u＝1,v^TS_WY'v＝1 (10)

利用拉格朗日函数来求解投影向量u和v，通过定义

可以证明：

和

分别是HHT，HTH的特征向量，因此得到式12：

此时的u和v即为使式9最大的投影向量；

步骤3.3：根据步骤3.2中的u和v可以得到最后的特征集X*和Y*，以及最后的投影矩阵W_x和W_y为：

进一步的，步骤4中对特征集的分类识别采用以下步骤：

步骤4.1：根据式14的串行融合策略求出最终融合向量z₁作为融合后的特征向量进行分类识别：

步骤4.2：根据式15的并行融合策略求出最终融合向量z₂作为融合后的特征向量进行分类识别：

步骤4.3：采用最近邻对最终的融合向量z₁和z₂进行分类识别，并采用式16的平均分类正确率MCA来评价融合算法的性能：

其中，N_i表示预测的类别标签与真实类别标签之间误差不大于k的样本个数。

本申请的识别方法首先将特征向量与类别标签信息进行融合，得到带有类别信息的特征向量；其次针对转换后的特征向量，最小化类内散度的同时，增大两个特征集之间相关性，从而抽取出具有更高的鉴别能力的特征向量；最后通过给定的特征融合策略进行融合分类识别。为了验证本申请识别方法的有效性，在多个数据库上进行了实验，实验表明本申请的识别方法可以取得更好的分类识别性能。

本发明将特征向量结合类别标签进行融合，得到带有类别信息的特征集，其次又融合了两个模态的特征向量，提供具有更高鉴别能力的特征向量，因此本发明无论从识别率还是稳定性上都具有最好的表现。首先，将特征向量与类别标签进行一次融合，得到带有类别信息的特征向量。其次，最小化两个模态的融合特征向量之间的类内散度，同时增大两者的相关性，从而抽取出具有更高的鉴别能力的特征向量。最后，通过特征融合策略进行融合分类识别。通过仿真实验表明，本发明将特征与类别信息进行融合，之后增强两个模态之间的相关性，提高的融合分类识别性能。

本申请将所提出的多模态特征融合识别方法应用在多特征手写数据集中，是UCI数据集中的一个多模态的数据集。实验结果显示，相比其他同类方法，本发明具有更高的识别率，具有实际应用价值。

附图说明

图1是实施例基于标签鉴别相关分析的多模态生物特征层融合识别方法的总流程图。

具体实施方式

下面结合附图和具体实例对本发明做进一步说明。

如图1所示基于标签鉴别相关分析的多模态生物特征融合识别方法包括以下步骤：

步骤1：输入多模态图像的特征向量；

步骤2：针对不同生物特征，将类别标签和生物特征进行融合，进而得到带有类别标签信息的特征集；

步骤3：将步骤2获得的不同模态特征集进行融合，利用两者之间的最大相关性，建立准则函数求出投影向量，进而求出融合后的特征集；

步骤4：将步骤3中得到的特征集分别采用并行融合和串行融合的方法，通过最邻近方法进行分类识别。

步骤2中类别标签和特征融合采用以下步骤：

步骤2.1：选取一组已中心化的样本特征集X∈R^p×1和Y∈R^q×1，有c个类别标签(N₁,N₂,…,N_c)，N表示训练样本的数目。针对特征X，为获取特征集与类标签间的最大相关性，可建立准则函数如式1：

C_XX＝X^TX，C_L＝L^TL，C_XL＝X^TL (2)

其中，w_X和w_L为投影方向，C_XX和C_L分别为特征集X与类别标签的协方差矩阵，C_XL表示特征集X与类别标签之间的互协方差矩阵；

步骤2.2：对于准则函数J，与w_X和w_L的大小无关仅与其方向有关，采用式3加约束条件，获得唯一解：

w_X ^TC_XXw_X＝1,w_L ^TC_Lw_L＝1 (3)

步骤2.3：根据步骤2.2的限制条件，采用式4得到拉格朗日函数：

L(w_x,w_l)＝w_X ^TC_XLw_L-λ₁(w_X ^TC_XXw_X-1)-λ₂(w_L ^TC_Lw_L-1) (4)

其中，λ₁和λ₂为拉格朗日乘子；

步骤2.4：根据步骤2.3中的函数，分别对w_X和w_L进行求导，可得式5和式6：

C_XLw_L-λ₁C_XXw_X＝0 (5)

C_XL ^Tw_X-λ₂C_Lw_L＝0 (6)

步骤2.5：将式5左乘w_X ^T，式6右乘w_L，可得出λ₁＝λ₂，令λ₁＝λ₂＝λ，带入式5和式6中，可得到：

步骤2.6：根据步骤2.5可以求出w_X和w_L，针对生物特征Y，依然采用上述方法求解得出w_Y，根据式8可以求出带有标签信息的特征集合：

步骤3中投影向量的提取采用以下步骤：

步骤3.1：由步骤2.6已得出融合类别标签的特征集，采用式9、式10和式11求出相对应的类间协方差矩阵S_b，X'的类内散度矩阵S_WX'，以及Y'的类内散度矩阵S_WY'；

其中，

表示第i类的均值向量，

是所有样本的均值向量，S_wx和S_wy分别表示X，Y的类内散度矩阵，S_b表示X与Y的类间协方差矩阵；

步骤3.2：为获取两个特征集之间的最大相关性，建立式12准则函数模型，对类内散度矩阵进行约束以保证唯一解，约束形式如式13：

u^TS_WX'u＝1,v^TS_WY'v＝1 (13)

其中，u和v为投影向量；

步骤3.3：根据步骤3.2建立式14的拉格朗日函数来求解投影向量：

L(u,v)＝u^TS_bv-λ₁(u^TS_WX'u-1)-λ₂(v^TS_WY'v-1) (14)

其中，λ₁和λ₂为拉格朗日乘子；

步骤3.4：根据步骤3.3中的函数，分别对u和v进行求导，可得式15和式16：

步骤3.5：式15左乘u^T，式(16)右乘v^T，将式(15)(16)转为如式(17)，可得到λ₁＝λ₂ ^T＝λ，则式(17)则变为式18：

步骤3.6：令

则式(18)可转成为：

步骤3.7：根据步骤3.6可知，

和

分别是HH^T，H^TH的特征向量。对H进行奇异值分解，可得出

其中Λ＝diag(λ₁,λ₂,...,λ_r)，P＝(p₁,p₂,...,p_r)，Q＝(q₁,q₂,...,q_r)，r≤min(c-1,rank(X'),rank(Y'))。

步骤3.8：根据步骤3.7可知，u_i＝p_i，v_i＝q_i，进而得到准则函数模型式(12)最大的解：

此时的u和v即为使式(12)最大的投影向量。

步骤3.9：根据步骤3.8中的u和v可以得到最后的特征集X*和Y*，以及最后的投影矩阵W_x和W_y为：

步骤4中对融合特征集的分类识别采用以下步骤：

步骤4.1：根据串行融合策略式23求出最终融合向量z₁作为融合后的特征向量进行分类识别：

步骤4.2：根据并行融合策略式24求出最终融合向量z₂作为融合后的特征向量进行分类识别：

步骤4.3：采用最近邻对最终的融合向量z₁和z₂进行分类识别，并采用平均分类正确率MCA来评价融合算法的性能：

其中，N_i表示预测的类别标签与真实类别标签之间误差不大于k的样本个数。

使用UCI数据集中的多特征手写数据集，其中包括0～9共10个手写数字的特征，每类200个样本，一共有2000个样本，其中每个样本均包含6个特征。

以多特征手写数据集为例，按照图1所示流程图进行融合识别。

步骤1：输入多模态图像的特征向量；

步骤2：将特征集与类别标签进行融合，得到带有类别信息的特征向量；

步骤3：进一步将两个模态的特征向量进行融合；

步骤4：分别采用并行融合和串行融合得到最终融合向量，采用最近邻分类识别。

为了验证本发明所提出的基于标签鉴别相关分析的多模态特征融合识别方法相比于现有的融合识别方法在多模态识别领域的优越性，在多特征手写特征集上进行实验。多特征手写数据集是UCI数据集中的一个多模态的数据集，每个样本均包含6个特征，分别为形态学特征(mfeat_mor)，Zernike矩特征(mfeat_zer)，K-L展开系数(mfeat_kar)，傅立叶系数(mfeat_fou)，轮廓相关特征(mfeat_fac)，像素平均(mfeat_pix)，且数据集直接给出了每个特征的特征向量。任意选两个特征作为融合特征集，则会有15种组合方式。随机选取每类的100个样本作为训练集，剩下的样本作为测试集，采用最近邻方法进行分类，测试过程重复独立循环20次，以20次平均得出的结果作为最终的性能衡量指标，本发明参数k设置为1。

识别中实验，采用最近邻分类器对指静脉样本进行识别，通过公式(25)平均分类正确率MCA作为算法性能的评价标准。实验结果如表1、表2和表3所示。

表1单模态下的平均分类正确率

表2双模态下采用串行融合方法的平均分类正确率

表3双模态下采用并行融合方法的平均分类正确率

结合表1与表2，可以看出双模态下，本发明的MCA是高于单模态下的MCA的。本发明在表2中，其中有14种特征组合方式取得了高于单模态的识别率，仅有1种组合方式的融合识别率略低于单模态的识别率；有14种特征组合方式采用本发明的识别率高于对比方法的识别率，仅有1种组合方式与对比方法DCA效果持平。这是由于首先将类别标签与特征集进行融合，这样的特征集已经带有类别标签信息，提高了特征集的鉴别能力；其次最大化已加入类别标签信息的两个特征集之间的相关性，从而提高了识别率。

结合表1与表3，可以看出其中采用本发明的识别率优于对比方法，其中有12种特征组合方法的融合识别率是高于单模态下的识别率，有3种组合方式低于单模态的识别率。这是由于这些数据集本身样本分布的不均匀性，致使对类均值有偏差的估计，无法真实反映类内离散度矩阵、类间协方差矩阵的情况。尽管如此，本发明的识别率仍然优于对比算法，可见直接对特征集和类别信息的融合增大了特征集的鉴别能力。

以上所述，仅是本发明的较佳实例而已，并非对本发明做任何形式的限制。凡是依据本发明的技术和方法实质对以上实例所作的任何简单修改、等同变化与修饰，均仍属于本发明的技术和方法方案的范围内。

Claims (4)

1.一种基于标签鉴别相关分析的多模态生物特征融合识别方法，其特征在于包括以下步骤：

步骤1：输入多模态图像的特征向量；

步骤2：针对不同生物特征，将类别标签和生物特征进行融合，进而得到带有类别标签信息的特征集；

步骤3：将步骤2获得的不同模态特征集进行融合，利用两者之间的最大相关性，建立准则函数求出投影向量，进而得出融合后的特征集；

步骤4：将步骤3中得到的特征集分别采用并行融合和串行融合的方法，通过最邻近方法进行分类识别。

2.根据权利要求1所述的多模态生物特征融合识别方法，其特征在于：所述步骤2中类别标签和生物特征融合采用以下步骤：

步骤2.1：选取一组样本特征集X和Y，进行中心化处理，中心化后的特征：X∈R^p×1和Y∈R^q×1；

步骤2.2：对生物特征X通过式1建立特征集与c个类别标签L(N₁,N₂,…,N_c)间的最大相关性：

其中：N表示训练样本的数目，w_X和w_L为投影方向，C_XX和C_L分别为特征集X与类别标签L的协方差矩阵，C_XL表示特征集X与类别标签之间的互协方差矩阵，见式2：

C_XX＝X^TX，C_L＝L^TL，C_XL＝X^TL (2)

其中T为矩阵转置标记；

对于准则函数J，采用式3的约束条件以及式4，分别对w_X和w_L进行求导求出w_X和w_L：

w_X ^TC_XXw_X＝1,w_L ^TC_Lw_L＝1 (3)

L(w_x,w_l)＝w_X ^TC_XLw_L-λ₁(w_X ^TC_XXw_X-1)-λ₂(w_L ^TC_Lw_L-1) (4)

其中，λ₁和λ₂为拉格朗日乘子；

步骤2.3：采用步骤2.2的方法针对生物特征Y，求解得出特征集Y在类别标签上的投影w_Y，

步骤2.4：根据式5求出带有标签信息的特征集合：

3.根据权利要求2所述的多模态生物特征融合识别方法，其特征在于：所述步骤3中投影向量的提取采用以下步骤：

步骤3.1：将步骤2获得的带有标签信息的特征集，采用式6至8求出相对应的类间协方差矩阵S_b，X'的类内散度矩阵S_WX'，以及Y'的类内散度矩阵S_WY'；

其中，

表示第i类的均值向量，

是所有样本的均值向量，S_wx和S_wy分别表示X，Y的类内散度矩阵，S_b表示X与Y的类间协方差矩阵；

步骤3.2：为获取两个特征集之间的最大相关性，建立式9准则函数模型，对类内散度矩阵进行约束以保证唯一解，约束形式如式10：

u^TS_WX'u＝1,v^TS_WY'v＝1 (10)

利用拉格朗日函数来求解投影向量u和v，通过定义

可以证明：

和

分别是HH^T，H^TH的特征向量，因此得到式12：

此时的u和v即为使式9最大的投影向量；

步骤3.3：根据步骤3.2中的u和v可以得到最后的特征集X*和Y*，以及最后的投影矩阵W_x和W_y为：

4.根据权利要求1所述的多模态生物特征融合识别方法，其特征在于：所述步骤4中对特征集的分类识别采用以下步骤：

步骤4.1：根据式14的串行融合策略求出最终融合向量z₁作为融合后的特征向量进行分类识别：

步骤4.2：根据式15的并行融合策略求出最终融合向量z₂作为融合后的特征向量进行分类识别：

步骤4.3：采用最近邻对最终的融合向量z₁和z₂进行分类识别，并采用式16的平均分类正确率MCA来评价融合算法的性能：

其中，N_i表示预测的类别标签与真实类别标签之间误差不大于k的样本个数。

Images