CN106709508A - 一种利用特征信息的加权典型相关分析方法 - Google Patents

Abstract

本发明公开了一种利用特征信息的加权典型相关分析方法，主要解决传统典型相关分析丢失特征信息指导，无法凸出重要特征与次要特征的区别的问题。该方法首先对输入的两组特征集中的各个特征进行特征方差的计算，并利用计算出的方差对原始特征进行加权处理，然后利用加权后的特征数据集进行典型相关分析的特征抽取，得出多组特征投影向量，并计算出各个投影向量所对应的典型相关性系数，接着利用该典型相关性系数对每个投影向量进行加权处理，组合成最终的加权典型相关分析的投影集，最后根据得到的加权典型相关分析的投影集进行特征抽取，应用于以后的模式识别任务。本发明方法能有效增强提取出来的特征的表现力和鉴别性，从而有效地提高基于典型相关分析的人脸识别和图像分类等算法的识别精度。

Description

一种利用特征信息的加权典型相关分析方法

技术领域

本发明属于模式识别和图像处理技术领域，主要涉及在多视图条件下抽取一种具有表现力和鉴别性的融合特征方法；具体地说是一种利用特征信息的加权典型相关分析方法，可用于模式识别、机器学习、数据挖掘、图像处理、天气预测和医疗卫生等领域。

背景技术

在模式识别和机器学习领域，同一对象能够获取多组特征信息，这些特征信息能够从各个方面有效地表示该对象的属性特征。例如，人脸特征能够由肤色、形状、眼睛、发色等信息组成，一个网页属性包含网页文本、超链接、域名、标题等信息。但对于多组特征的学习，经典的单视图学习方法，如主成分分析(Principal component analysis,PCA)，并不能有效地抽取出完备的特征。因此，对多组特征的信息融合算法是非常有意义的，多视图学习也成为模式识别领域研究的热点之一。

典型相关分析(Canonical correlation analysis,CCA)是一种经典的多视图学习方法，主要研究同一对象的两组变量之间的关系。与单视图的PCA不同，CCA通过最大化两组线性组合后的特征的相关性，提取出多组典型相关特征。现在，CCA被用于模式识别、图像处理、机器视觉、医疗卫生、天气预测等许多领域的信息融合。偏最小二乘(Partial leastsquares,PLS)是另一种经典多视图学习方法，其主要目的是最大化特征之间的变异性及相关性。Borga基于Rayleigh商和广义特征值问题建立了CCA与PCA、多元线性回归(Multvariate linear regression,MLR)以及PLS的统一模型。Sun等人首次将CCA用于模式识别领域(Sun Q S,Zeng S G,Liu Y,et al.A new method of feature fusion and itsapplication in image recognition[J].Pattern Recognition,2005,38(12):2437-2448.)，并获得满意的实验结果。但CCA从本质上来讲是一种线性子空间学习方法。对于全局非线性的情况下，CCA并不能提取有表现力的典型相关特征。因此，S.Akaho等人将核技术引进CCA，将原始空间中的特征扩展到更高维度空间中，提出核典型相关分析(Kernelcanonical correlation analysis,KCCA)(S.Akaho.A kernel method for canonicalcorrelation analysis[C].In:International Meeting of Psychometric Society,2006.)。CCA的求解需要转化为对应的广义特征值求解，在模式识别中，对高维样本的不充分采样会导致高维小样本问题，CCA的协方差矩阵极有可能奇异，导致算法的性能降低。而且传统CCA对于每个特征都是公平对待，小样本问题带来重要特征与次要特征无法区分的弊端，提取出来的典型相关特征没有表现力和鉴别性。为了克服小样本问题，Xing等人提出一种完备的典型相关分析(Complete canonical correlation analysis,C3A)(XiangleiX,Kejun W,Tao Y,et al.Complete canonical correlation analysis withapplication to multi-view gait recognition[J].Pattern Recognition,2016,50:107-117.)，通过矩阵分解，提取出完整的典型相关特征，实验结果显示，C3A能够保留完整的特征信息，算法的识别率得到提高。另外，Le An等人提出了一种新颖的鲁棒典型相关分析(Robust canonical correlation analysis,ROCCA)(Le An,Songfan Yang.Person Re-Identification by Robust Canonical Correlation Analysis[J].IEEE SignalProcessing Letters,2015,22(8):1103-1107.)，利用一个近似矩阵代替奇异的协方差矩阵进行广义特征值分解，实验结果显示ROCCA能够提高算法的鲁棒性，识别效果得到提高。但以上CCA的改进算法都忽视了特征的重要性，未能区分重要特征与次要特征对算法性能的影响。

发明内容

针对上述问题，本发明提出一种利用特征信息的加权典型相关分析方法(Weighted canonical correlation analysis,WCCA)，以解决传统典型相关分析及其改进算法未能考虑重要特征和次要特征对特征抽取过程的影响的问题，能够合理利用样本特征所带有的信息，提取出更加具有表现力和鉴别性的特征，用于模式识别和图像处理的任务，能够有效地提高算法在人脸识别和图像分类时的精确度。

实现本发明的关键技术是：充分利用样本固有的一些特征信息，如特征的方差信息和相关性信息，首先在原始样本特征层面，利用原始样本特征的方差信息对原始特征进行加权处理，使在特征融合过程能够充分利用重要特征信息，降低次要特征信息对特征抽取的影响；然后采用提取之后的典型相关变量所带有的相关性信息，对所对应的典型相关投影向量进行加权处理，凸出相关性较大的典型相关变量；最后利用加权后的典型相关投影向量对样本特征集进行特征抽取，并采用串型组合特征的方式组合多视图下的特征用于接下来的模式识别任务中。

为实现上述目标，具体实现步骤如下：

(1)给定一组大小为N且已经中心化处理后的样本对作为输入数据集：

(2)重新描述数据集X和Y，如下：

X＝[a₁,a₂,...,a_p]^T，Y＝[b₁,b₂,...,b_q]^T，

其中，和分别是X和Y的第i个特征的特征向量；

(2.1)计算各个特征对应的特征方差λ_i＝var(a_i),i＝1,2,...,p，μ_i＝var(b_i),i＝1,2,...,q；

(2.2)利用λ_i和μ_i对原始特征数据集X和Y进行加权处理，得到处理后的特征数据集和

(3)由和计算协方差矩阵和互协方差矩阵

(4)求解如下的目标函数：

得到投影向量集d为选取的特征投影向量的个数，表示前d大相关性的特征投影向量集，并计算得到α_i和β_i对应的相关性系数ρ_i；

(5)根据相关性系数ρ_i对和进行加权，并组合到加权后的投影向量集和利用和提取特征后，采用串联特征的方式进行特征的组合，如下：

接着用于后续的模式识别任务中。

本发明方法具有如下优点：

(1)本发明充分考虑了特征所固有的信息，而且特征的方差和相关性信息在模式识别领域具有较强的表现力，这不仅克服了传统典型相关分析无法区别对待重要特征和次要特征的贡献，而且在特征的方差和相关性指导下，提取出来的特征更加具有表现力和鉴别性。

(2)本发明能够考虑到样本采集受外界因素的影响，例如光照、姿态、旋转、遮挡等，在特征抽取的过程中能够通过调节因子来抑制外界因素对特征的影响，与传统典型相关分析同等对待各个特征相比，本发明抽取后的特征更能反映原始样本的真实特征信息。

附图说明

图1是本发明的实现流程图；

图2是ORL数据库中第一个人的10张灰度图片；

图3是ORL数据库上5种多视图算法随维度变化的平均识别结果；

图4是AR数据库中第一个人的14张灰度图片；

图5是AR数据库上5种多视图算法随维度变化的平均识别结果；

图6是COIL20数据库中20个对象；

图7 COIL20数据库上5种多视图算法随维度变化的平均识别结果；

具体实施方式

一、基础理论介绍

1.典型相关分析

典型相关分析是一种经典的多视图学习方法，主要研究同一对象的两组变量之间的关系，通过最大化两组线性组合后的特征的相关性，提取出多组典型相关特征。假设一组大小为N且已经中心化处理后的样本对作为输入数据集： 典型相关分析为了寻找一组投影方向和使得原始特征在投影后的相关性最大化，有如下的目标优化函数：

其中，(·)^T表示矩阵的转置，S^xy＝XY^T是样本的互协方差矩阵，S^xx＝XX^T和S^yy＝YY^T分别是X和Y的协方差矩阵。

2.局部特征选择

Armanfard等人提出一种基于局部特征选取的分类器模型(Localized featureselection,LFS)(Narges A,James P.R,Majid K.Local feature selection for dataclassification[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2016,38(6):1217-1227.)。区别于传统的分类器，LFS并不选取全部的特征用于分类器的构造，而是根据样本的类标签信息，对每个样本选取出使同类样本距离最小化，异类样本距离最大化的局部特征用于分类任务。其数学模型如下所示：

其中，f⁽ⁱ⁾和l⁽ⁱ⁾表示第i个样本x_i的特征选取指示向量和同类标签的样本下表集，表示样本x_i和x_j的距离权重，表示元素级别的相乘，是x_i由f⁽ⁱ⁾选出的局部特征组成的新样本，M和N分别表示原始特征的数量和样本的数目，为制约因子。

实验结果验证了LFS的有效性，并且局部特征对分类有着重要影响，不同样本的局部特征对于其所属的类标签的重要程度不同，选取出重要的局部特征用于分类能够有效地提高分类的精确度，其选取的局部特征能够有效地提高分类的精确度。因此可以得到如下结论：1)局部特征能够有效地降低分类器的错分率，说明局部特征具有重要的研究价值；2)在局部特征的选取阶段，应突出重要局部特征信息，权重和最小化同类样本距离、最大化异类样本距离的目的对选取出关键的局部特征起到重要作用。

二、本发明利用特征信息的加权典型相关分析方法

参照图1，本发明的具体实施步骤包括如下。

步骤1.计算原始样本的特征方差。重新描述输入数据集X和Y如下：

X＝[a₁,a₂,...,a_p]^T，Y＝[b₁,b₂,...,b_q]^T， (2)

其中，和分别是X和Y的第i个特征的特征向量；

计算各个特征对应的特征方差λ_i＝var(a_i),i＝1,2,...,p，μ_i＝var(b_i),i＝1,2,...,q，其中，var(·)表示方差的计算函数。

步骤2.对原始样本特征进行加权，并计算加权之后的样本协方差矩阵和互协方差矩阵。根据式(2)，传统典型相关分析的协方差矩阵S^xx、S^yy和互协方差矩阵S^xy可表示成如下：

可以看出传统典型相关分析对于各个特征是同等对待，无法区分重要特征和次要特征对特征提取的影响。因此，为了区分重要特征和次要特征所带来的影响，本发明方法利用特征的方差信息对原始特征进行加权处理，对接下来的特征抽取进行指导。

定义两个方差处理函数f(·)和g(·)，如下：

其中，a和b是调节因子；

那么方差加权后的特征得到加权之后的样本集和

利用加权之后的和计算加权协方差矩阵和加权互协方差矩阵

从式(2)的角度来看，和又可表示为如下：

从上式中可以清楚地看出，本发明方法将样本的特征方差信息融合进协方差矩阵和互协方差矩阵当中，对特征的加权体现了对重要特征的凸出作用，即特征的方差越大，其对特征抽取的影响越大，但考虑到外界因素的干扰，本发明方法采用调节因子a和b来进行控制。

步骤3.求解利用特征信息的加权典型相关分析。根据步骤2求得的和更改式(1)，构建本发明方法的目标优化函数，如下所示：

式(3)的求解可以转化为如下的广义特征值问题：

其中，式(4)展开后可表示成两个特征值问题：

式(7)中(·)^-1表示矩阵的逆操作。最后选取式(5)的前d个最大的特征值对应的特征向量对应的Pearson相关系数为ρ₁,ρ₂,...,ρ_d。投影向量集

步骤4.利用相关性对投影集进行加权。在步骤3中，计算出投影向量集W_x和W_y及投影向量对应的相关系数，利用相关性对投影向量进行加权，即利用相关系数对投影向量进行加权处理。考虑到小相关系数的典型相关特征也带有少部分的特征信息，因此对小相关性的特征进行适当保留特征信息。

定义对相关性系数的处理函数h(·)：

其中，a是与方差加权的调节因子相同，用于保留小相关性特征的信息；

那么相关性加权后的投影向量组合成新的加权投影向量集为

步骤5.采用串型特征的方式进行特征的组合，如下：

接着用于后续的模式识别任务中。

本发明的效果可通过以下真实数据库的实验进一步说明。

1.实验条件及参数

为验证本发明方法WCCA的可行性和有效性，在ORL人脸数据库、AR人脸数据库和COIL20对象数据库上进行识别实验。将WCCA与PCA、CCA、PLS、ROCCA和C3A等目前主流的相关算法进行性能的对比。为了解决小样本问题，本文采取PCA降维预处理，避免CCA及其改进算法中协方差矩阵奇异的情况。

PCA需要将2组特征首尾相连以形成新的高维特征向量，然后用PCA进行特征提取。CCA、PLS、ROCCA和C3A提取特征后通过串联的方式，即将两组降维后的特征首尾相连地串接在一起进行识别分析。在实验中，WCCA的a和b分别取1和2。分类器采用KNN分类器，K取1。算法识别的性能通过识别率来衡量，识别率越高(越接近100％)，算法性能越好；识别率越低(越接近0)，算法性能越差。

1.ORL人脸数据库

ORL人脸数据库包含40名志愿者人脸姿态较大的400张灰度图片，每人10张图片，每张图片包含92×112像素。ORL数据库中的每张人脸图片分别拍摄于不光照条件下，具有差异较大的面部表情和细节，人脸的尺度、平面旋转和深度旋转分别达到10^°、20^°和20^°。图2显示了ORL数据库中第一个人的10张灰度图片。

在本节实验中，从每个人的10张灰度图片中随机选取5、6、7和8张图片用于训练，剩余的图片样本用作测试。对每张图片分别提取局部二值模式(Local binary pattern,LBP)和方向梯度直方图(Histogram of oriented gradient,HOG)两组特征。LBP和HOG及其组合特征在图像识别的可行性已经得到验证。本节为避免高维小样本导致协方差矩阵奇异，用PCA将LBP和HOG两组特征都约减至80维，两组特征合计共160维。

表1 6种算法在ORL数据库上的平均识别结果

表1显示了WCCA与5种对比算法在ORL数据库上基于LBP和HOG特征组合的独立10次实验的平均识别结果。由于ORL数据库具有较大的脸部转动，样本的特征具有较大的方差信息，因此，给区别度更大的特征加权能够提取出更加具有鉴别性和表现力的特征。从结果显示，本文的识别算法WCCA比其他算法更优，加权之后提取出来的特征在分类的效果上更佳，尤其与CCA对比，WCCA的识别效果显著提高，验证了WCCA的有效性。

为进一步分析WCCA与对比算法的性能，从每个人的10张图片中随机选取5张用于训练，剩余用于测试，并独立进行10次实验。图3显示了5种多视图算法随抽取后的特征维数变化的平均识别结果。从图3中可以看出，为样本特征加权的WCCA抽取的特征比CCA和C3A的特征更加具有鉴别性，而且在特征维数达到120以上，WCCA的识别率趋于稳定，识别的效果明显优于其他4种多视图算法。图3的实验结果再次验证了WCCA的可行性和有效性。

2.AR人脸数据库

AR人脸数据库是由70个男性和56个女性的4000余张彩色图片构成的，每人26张图片，每张图片包含40×50像素，这些图片分别反映了人脸的表情特征、光照明暗和有无遮挡等情况。本文选取其中120人，每人14张无遮挡的图片，共计1680张图片，并将图片进行灰度化处理用于实验分析。图4显示了AR数据库中第一个人的14张无遮挡的灰度图片。

本节实验中，从每个人的14张图片分别随机选取7、8、9和10张图片用于训练过程，剩余的图片用于测试，随机独立10次实验，取平均结果。实验中，特征采用从每张图片提取出LBP和HOG两组特征，并且为尽量避免协方差奇异，采用PCA预处理将LBP和HOG两组特征都降维至50，两组特征合计共100维。

表2 6种算法在AR数据库上的平均识别结果

表2显示了6种算法在AR数据库上的平均识别结果，从实验结果看，WCCA的算法性能比其他5种算法较优，其中相比于CCA和C3A的效果略好，说明加权之后的特征能够有效地提高识别率。由于本数据库的样本都是正面无遮挡的图片，样本中包含野值点的情况较少，因此，鲁棒的ROCCA的性能较差，但这也反映出，在野值点较少时，适当地增加各项特征的权重，能够有效地提高算法的识别率，WCCA的可行性得到验证。

图5显示了每人随机选取7张图片用于训练，剩余用于测试，进行10次独立实验，5种多视图算法随维度变化的平均识别结果。从图5中可以看出，WCCA的识别率明显好于其他4种算法，在维度达到70时，WCCA趋于收敛，CCA和C3A的识别率也与WCCA越来越接近，但在维度小于70的情况下，WCCA的识别效果明显高于CCA和C3A，说明WCCA提取的特征较CCA和C3A更加具有鉴别性和表现力，验证了WCCA的有效性和可行性。

3.COIL20对象数据库

COIL20对象数据库包含20个不同对象的1440张灰度图片，每个对象分别从0°～360°间隔5°采集一张图片，共计72张图片，每张图片大小为128×128像素，其中有玩具鸭、玩具汽车、招财猫等，如图6所示。从图6中可以看出，各个对象之间具有较大的几何特征差异。

本节实验随机选取每个对象的10、15、20和25张图片用于训练集，其余的图片组合成测试集，独立进行10次实验，取其平均的识别结果。如ORL和AR数据库中的实验，对每个对象的图片提取出LBP和HOG两组特征，为保证协方差矩阵的非奇异性，对每组特征进行PCA降维至50维，两组特征合计共100维。

表3 6种算法在COIL20数据库上的平均识别结果

表3显示了6种算法在不同样本数量下的平均识别结果。从表中可以看出，在样本数量较少的情况下，WCCA的识别率比其他5种算法高，在样本数量为25时，ROCCA获得最佳的识别效果，但WCCA的识别率与最优值差距较小。COIL20数据库中的20个样本的差异较大，当样本数量较大的情况下，样本之间的差异较大，鲁棒的ROCCA对于此种情况效果较佳。但当样本数量较小，如10、15和20时，样本采集的野值点较少，之间的差异性较小，因此，在这种情况下，WCCA的加权处理更加适用。从整体的平均识别率来看，WCCA的效果优于其他5种算法，其可行性得到验证。

为了研究算法随维度变化的识别率，随机选取每个对象的10张图片用于训练，剩余用于测试，并独立进行10次实验，取其平均结果。从图7中可以看出，由于COIL20数据库的对象存在较大的差异，鲁棒的ROCCA提取的特征具有较好的效果，在维数较低的情况下，ROCCA的识别率较高。从图中还可以看出，WCCA随维数的增加，其识别率越来越高，当维数达到85时，WCCA的识别率超过ROCCA，并优于其他四种多视图算法。在此种小样本的情况下，WCCA在高维数的时候的优势尤其明显，验证了WCCA的有效性和可行性。

从上述的三个真实数据库上的实验结果看，本发明方法在人脸识别和图像分类的精确度上有了显著的提高，说明利用特征信息进行特征抽取的指导具有可行性和有效性，本发明方法是一种确实可行的方法，提取出的特征具有较强的表现力和鉴别性。

Claims (3)

1.一种利用特征信息的加权典型相关分析方法，包括以下步骤：

(1)给定一组大小为N且已经中心化处理后的样本对作为输入数据集：

(2)重新描述数据集X和Y，如下：

X＝[a₁,a₂,...,a_p]^T，Y＝[b₁,b₂,...,b_q]^T，

其中，和分别是X和Y的第i个特征的特征向量；

(2.1)计算各个特征对应的特征方差λ_i＝var(a_i),i＝1,2,...,p，μ_i＝var(b_i),i＝1,2,...,q；

(2.2)利用λ_i和μ_i对原始特征数据集X和Y进行加权处理，得到处理后的特征数据集和

(3)由和计算协方差矩阵和互协方差矩阵

(4)求解如下的目标函数：

得到投影向量集d为选取的特征投影向量的个数，表示前d大相关性的特征投影向量集，并计算得到α_i和β_i对应的相关性系数ρ_i；

(5)根据相关性系数ρ_i对和进行加权，并组合到加权后的投影向量集和利用和提取特征后，采用串型特征的方式进行特征的组合，如下：

接着用于后续的模式识别任务中。

2.根据权利要求1所述的加权典型相关分析方法，其中，步骤(2.2)所述的加权原始特征数据集的方法如下所示：

定义两个方差处理函数f(·)和g(·)，如下：

其中，a和b是调节因子；

那么方差加权后的特征。

3.根据权利要求1所述的加权典型相关分析方法，其中，步骤(5)所述的利用相关性系数ρ_i对和进行加权，按下述的方法计算：

定义对相关性系数的处理函数h(·)：

其中，a是与方差加权的调节因子相同；

那么相关性加权后的投影向量