CN107273926A - 一种基于余弦相似度加权的线性判别分析降维方法 - Google Patents

Abstract

本发明公开了一种基于余弦相似度加权的线性判别分析降维方法，其包括：步骤1、读取数据集X中的各样本待获取的初始特征F；步骤2、基于LLE算法，对初始特征F进行初步降维以获得临时特征F′；步骤3、获取样本特征数据即将临时特征F′作为输入特征；步骤4、计算出数据集X中每类样本均值m_i和总体样本均值m；步骤5、基于样本特征数据以及m_i、m，获得基于余弦相似度加权的类内散度矩阵以及对应的类间散度矩阵；步骤6、创建基于余弦相似度加权的目标函数对样本特征数据进行进一步降维；步骤7、根据步骤6所产生的投影矩阵将输入特征映射到新的维度空间。本发明具有更好的类内耦合度和类间离散度，且达到了更好的降维效果。

Description

一种基于余弦相似度加权的线性判别分析降维方法

技术领域

本发明属于数据分析领域，具体的说是涉及一种基于余弦相似度加权的线性判别分析降维方法。

背景技术

判别分析是数据分析领域的重要方法之一，广泛应用于数据分类、目标识别、例外检测、聚类、图像处理、生物信息处理等领域；其主要以统计分析为基础，依据训练数据本身的分布特性，构造分割数据的直线或曲线；目前主要方法包括线性判别法、距离判别法、贝叶斯判别方法和Fisher判别法等。

但是上述各分类方法都是假设每一类的样本分布在同一个聚集区域中，对于同一类的样本分布在两个或者更多个聚集区域情况即多模态数据分类效果不好.针对这个问题，Luo等提出了局部保存投影方法(LPP)，具体是使位于原始输入空间中距离较近的样本点在特征空间内更加紧凑，可以有效保持多模态数据的局部结构特征；Zhu M等提出了子类别判别分析法，具体是将多模态数据分为一系列子类；Kim等提出了局部线性判别分析算法，具体是假设多模态数据是局部线性的，对局部信息根据Fisher准则获取变换矩阵，最后得到多个局部线性变换矩阵，将样本通过局部线性投影矩阵投影到每一个局部特征空间中；Harandi等为了解决多模态数据问题，具体是引入了局部最优基的概念，根据不同的决策合并不同的局部最优基，获取局部信息，进而对多模态数据分类，使不同类的相邻样本不会混叠在一起。但是需要说明的是：上述方法均只考虑了样本向量之间的协方差信息而忽略了其他类别的相似度信息，不能充分表征样本之间的离散程度。

发明内容

鉴于已有技术存在的缺陷，本发明的目的是要提供一种基于余弦相似度加权的线性判别分析降维方法，其相比于传统的LDA算法，其修正了类内散度矩阵，具有更好类内耦合度和类间离散度。

为了实现上述目的，本发明的技术方案：

一种基于余弦相似度加权的线性判别分析降维方法，其特征在于，包括如下步骤：

步骤1、读取待分析的数据集X中的各个样本待获取的初始特征F，其中，假定数据集X中共有c个模式类，样本个数为N，并将数据集X表示为 表示第i模式类中的第j个样本，i＝1,2,…,c，j＝1,2,…,n_i，n_i表示第i个模式类中样本个数，所述初始特征F共有N行数据，假定对应的特征维度为d；

步骤2、基于LLE算法，对所读取的初始特征F进行初步降维以获得临时特征F′；

步骤3、获取样本特征数据即将临时特征F′作为输入特征，同时确定所对应的输入类别数为c以及最大降维维数为c-1；

步骤4、计算出样本特征数据中每类样本均值m_i和总体样本均值m；

步骤5、基于步骤3所获取样本特征数据以及步骤4所计算出m_i、m，获得基于余弦相似度加权的类内散度矩阵，并获得对应的类间散度矩阵，所述类内散度矩阵

所述类间散度矩阵

步骤6、创建基于余弦相似度加权的目标函数，并对样本特征数据进行进一步降维，所述目标函数其中为经投影变换后的类间散度矩阵， 为经投影变换后的类内散度矩阵，

步骤7、根据步骤6所产生的投影矩阵将输入特征映射到新的维度空间。

进一步的，步骤6中所述的对样本特征数据进行进一步降维所对应的步骤包括：以投影矩阵W满足最大的类间距离和最小的类内距离为原则，使得投影变换后的类间散度矩阵和类内散度矩阵的行列式之比最大并求解所述目标函数J(W)_WZLDA极大值，即对应的最佳投影矩阵满足下列方程：

表示经降维后的特征维度。

进一步的，步骤6中所述的投影变换是指设定数据集X样本特征向量向判别矢量集W上的投影则投影变换后，在维空间中，数据集X中每类样本均值总体的均值

与现有技术相比，本发明的有益效果：

本发明主要分为两个步骤，首先采用LLE算法对输入特征进行初步降维，之所以采取这种策略是因LLE能够保持数据的流形结构，对于非线性特征数据的降维效果较好，初步降维之后，为了进一步提取特征的判别特性，其次是采用余弦相似度加权的目标函数作为进一步降维的手段，该算法更多关注的是特征的判别特性，理论分析和两个数据集上的实验结果验证了本专利具有更好的类内耦合度和类间离散度，并且达到了更好的降维效果。

附图说明

图1为本发明所述向量相似度示意图；

图2为本发明所述不同维度对识别率的影响示意图；

图3为本发明所述JAFFE数据集采用WZLDA算法和传统LDA算法效果对比图；

图4(a)为本发明所述采用LDA降维算法后所对应的JAFFE数据集中的样本分布图；

图4(b)为本发明所述采用WZLDA降维算法后所对应的JAFFE数据集中的样本分布图；

图5为本发明所述CK+数据集采用WZLDA算法和传统LDA算法效果对比图；

图6(a)为本发明所述采用LDA算法降维后所对应的CK+数据集中的样本分布图；

图6(b)为本发明所述采用WZLDA算法降维后所对应CK+数据集中的样本分布图；

图7为本发明所述方法对应的步骤流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

线性判别分析算法(LinearDiscriminantAnalysis,LDA)是Fisher于1936年提出的，其基本思想是寻找一个最优投影矢量集W＝{w,w₂,···,w_k}，它的每一列矢量就是一个投影方向，列矢量的个数就是最终的特征维数，将样本数据投影到这些列矢量方向上，即可使得投影后的数据具有更大的类间散度距离和更小的类内散度距离。

基于这种思想，本发明提出了一种包括WZLDA算法的降维方法即所述的基于类内散度矩阵修正(又称为余弦相似度加权)的线性判别分析降维方法，以通过本发明提出的降维算法使得降维后的特征数据达到更好的类内耦合度和类间离散度，从而提升特征的判别特性，最终实现更好的分类识别性能；具体的，本发明所述的余弦相似度加权的线性判别分析降维方法，其特征在于，包括如下步骤：

如图7，步骤1、读取待分析的数据集X中的各个样本待获取的初始特征F，如初始特征F可以是特征集，其表示为F＝{f_i|i＝1,2,3,...,n}，其中n为特征集中的特征个数，f_i表示特征集中的第i个特征，其中，假定数据集X中共有c个模式类，样本个数为N，并将数据集X表示为 表示第i模式类中的第j个样本，i＝1,2,…,c，j＝1,2,…,n_i，n_i表示第i个模式类中样本个数，同时假定所述初始特征F共有N行数据，对应的特征维度为d；进一步的，步骤1中采用二维Gabor小波对数据集X中样本的纹理特征进行读取。

步骤2、基于LLE算法，对所读取的初始特征F进行初步降维以获得临时特征F′；

步骤3、获取样本特征数据即将临时特征F′作为输入特征，同时确定所对应的输入类别数为c以及最终降低的维度设置成最大即c-1；

步骤4、由样本均值的定义，计算出样本特征数据中每类样本均值m_i和总体样本均值m，

步骤5、基于步骤3所获取样本特征数据以及步骤4所计算出m_i、m，获得基于余弦相似度加权的类内散度矩阵，并根据类间散度矩阵的定义获得对应的类间散度矩阵，

所述类内散度矩阵

所述类间散度矩阵

步骤6、创建基于余弦相似度加权的目标函数，并对样本特征数据进行进一步降维，所述目标函数其中为经投影变换后的类间散度矩阵， 为经投影变换后的类内散度矩阵，进一步的，步骤6中所述的对样本特征数据进行进一步降维即基于目标函数计算投影矩阵特征值和特征向量，取前c-1个特征值对应的特征向量作为投影矩阵W，其对应的步骤具体包括：以投影矩阵W满足最大的类间距离和最小的类内距离为原则，使得投影变换后的类间散度矩阵和类内散度矩阵的行列式之比最大并求解所述目标函数J(W)_WZLDA极大值，即对应的最佳投影矩阵满足下列方程： 表示经降维后的特征维度；进一步的，步骤6中所述的投影变换是指设定数据集X向判别矢量集W上的投影则投影变换后，在维空间中，数据集X中每类样本均值 总体的均值

步骤7、根据步骤6所产生的投影矩阵将输入特征映射到新的维度空间。

下述具体对基于余弦相似度加权的降维方法中的核心要点进行说明：

1、修正的类内散度矩阵S_WZ：原有的类内散度矩阵反映的是同类样本和该类样本均值的协方差信息，在某种程度上体现了该类样本和中心点的离散程度，但是其更多的只考虑了样本的各个维度和样本均值各个维度之间的相关性，从而忽略了样本作为一个向量(考虑整体的概念)，其中蕴含的某种关系和特性，基于上述缺陷，本发明正是考虑到样本向量之间的方向相关特性，因而将余弦相似度的概念引入类内散度矩阵中，关于相似度的概念可由三维坐标系进行表示：设A、B两点代表高维空间里面的两个向量，这里为了直观考虑，将坐标轴设置成X、Y和Z三个轴代表高维空间，根据向量点乘可以求出夹角的余弦值记为：

式(2)中，分子表示两个向量的内积，分母表示向量模的乘积。由图1可知，如果A，B两点离的越近，代表着样本越密集，从而类内耦合度就比较大，用余弦相似度作为度量标准时，A，B越接近相应夹角越小，对应的余弦值趋向于1，相反如果A,B离的越远，代表样本点越稀疏，从而类内耦合度就会比较小，向量之间的夹角也会偏大，对应的余弦值趋向于0；基于上述向量余弦相似度的这个特性，以及更大的类间离散度和更小的类内离散度的LDA核心思想，本本发明提出修正的类内散度矩阵的公式(1)，式(1)可以看出，类内离散度矩阵公式共有两部分表征，第一部分是代表第i类样本和第i类样本均值的协方差信息，记为表征样本向量和平均向量之间各个维度的方差信息，第二部分也就是本发明加入的余弦相似度的度量公式，同样是针对第i类样本和第i类样本均值之间进行余弦相似度的加权，增加作为加权因子，把第i类第j个样本向量和第i类样本均值向量作为一个整体，从高维空间的方向角度求取一个相似度因子，然后加权乘到对应的协方差矩阵中，以达到更好的类内耦合度和类间离散度；同时对公式(1)整体进行分析时发现，当样本向量相关时，对应的向量夹角较小，对应的余弦值较大，接近为1，加权因子接近为0，当样本向量不相关或者相关性较小时，对应的向量夹角较大，对应的余弦值较小，接近为0，加权因子接近为1，将加权因子乘到对应的协方差矩阵中，样本向量相关代表着样本之间间距较小，耦合性更高，加权所述相似度因子之后，类内散度矩阵S_WZ大幅变小，而不相关或相关性较低代表着样本向量之间间距较大，更为稀疏，耦合性相对较差，因此加权相似度因子之后，类内散度矩阵S_WZ小幅变小。以上分析表明，基于余弦相似度的加权度量类内离散度矩阵S_WZ更小，可以达到更好的类内耦合度，从而使同类样本变得更加集中，不同类样本更加离散，增加了样本的判别特性，从而实现更好的分类性能。

2、根据类间散度矩阵的定义得到则x向判别矢量集W上的投影为投影变换后在维空间中各类的均值总体的均值进而得到投影后的类间散度矩阵和类内散度矩阵记为：

从而构建本专利余弦相似度加权的线性判别分析降维方法所需的目标函数：

式(4)中，原则上要求投影矩阵W满足最大的类间距离和最小的类内距离，从而使得投影后的类间散度矩阵和类内散度矩阵的行列式之比最大，基于此，求解关于J(W)_WZLDA极大值的问题，最佳投影矩阵满足下列方程：

式中，只需求出矩阵的前个特征值对应的特征向量，并将它们按列拼接而成的矩阵就是最佳投影矩阵，这里代表着降维之后的维数，且原始特征的维数为d。

3、若是仅采用修正的类内散度矩阵S_WZ以及所述目标函数则会存在两个方面的问题，其一是秩限制，其二是类间散度矩阵的奇异问题，对于秩限制的问题是根据类间散度矩阵S_B的定义决定的，根据矩阵秩的性质，得到rank(S_B)≤c-1，因为降维后，能够保留的特征维数最多为c-1，如对于表情识别而言，若所用数据集表情类别数c为7，所以本专利最大降维特征取值为6，而且在求解特征值时假定类内散度矩阵S_WZ非奇异，小样本问题时，由于样本特征维数远大于样本个数，无法保证S_WZ非奇异，所以采取先用LLE算法进行初步降维的策略，使得特征维数低于样本个数，从而保证S_WZ的可逆性，再对初步降维后的特征进一步降维，保证得到的特征更具判别特性。

下面具体以相应的实验数据对本发明所述方案的降维效果进行比较分析：

首先对实验条件进行设置，即基于Windows764位系统、Matlab R2014a作为实验平台，同时为验证本发明的有效性，实验数据采用JAFFE和CK+人脸表情数据库的图像，构建得到相应的数据集，采用二维Gabor小波对一副人脸区域图像进行特征提取，经过5个尺度8个方向共40个滤波器组卷积操作之后，产生40幅Gabor滤波图像，卷积图像的幅值串联起来作为初始特征，设置以下三组实验，分别是降维程度对识别率影响实验、JAFFE数据集降维算法对比实验以及CK+数据集降维算法对比实验。

(1)降维程度对识别率影响实验与分析结果：

本实验是基于JAFFE人脸表情数据集，首先采用5个尺度8个方向的二维Gabor小波提取纹理特征，作为降维算法的输入，降维部分首先采用LLE算法进行初步降维，接着进行进一步降维并作为最终的识别特征，送入分类器进行识别。其中，图2是改变LLE算法降维维度对识别率的影响实验，在不同数据维度上对比LDA算法和本发明所述WZLDA算法，表1是初步降维不同维度对应的识别率结果。

表1不同维度识别率比较

图2反映了两种降维方法在初始特征不同维度时识别率的变化趋势，其中横轴表示降维维度，纵轴表示识别率。由图2可知随着初始特征维度的增加，代表识别率的曲线总体呈现递增的趋势，这是因为较小的维度特征并不足够表征原始数据的所有信息，所以合理的特征维数既能够表征原始数据的判别信息，又能起到减少数据运算量的目的；图中的两条曲线分别表示WZLDA算法结合LLE以及传统LDA算法结合LLE，在对其进行纵向比较时，可知LLE-WZLDA组合算法的识别率在多个维度特征上均高于LLE-LDA组合算法，表1的比较结果同样证明了这点，代表着本发明在不同维度上均有一个更好的适应性，并且在总体上比传统LDA算法有更好的表现。

(2)JAFFE数据集降维算法实验对比与分析：

本实验基于JAFFE人脸表情数据集，为了验证本发明的有效性，设计了一组对比实验，实验条件的设置：对比了两种算法，一种是传统LDA算法，另一种是本发明所述算法，初步降维都可采用LLE进行降维，且其他部分参数保持相同，不同之处在于进一步降维算法，实验采用十折交叉验证的方式，进行10次十折交叉验证，最后取其均值作为平均识别率，实验结果如表2和图3所示。

表2 JAFFE数据集两种算法识别率比较

如图3，本发明和传统LDA算法在JAFFE数据集上经过10次十折交叉验证实验的对比结果可知，带正三角形的折线表示LDA算法的识别效果，带倒三角形的折线表示本发明的识别效果；在进行纵向比较时，每一次交叉验证实验本发明较传统LDA算法识别率更高，横向比较时，本发明10次交叉实验的平均识别率明显高于LDA算法，由表2可知，LDA算法的平均识别率为95.0％，基于同样的条件而采用本改进算法之后，平均识别率达到了96.3％，平均识别率提高了1.3个百分点，对比实验验证了本发明的有效性。为了更加直观观察特征的空间分布，本发明取人脸区域降维后的前3维特征在三维空间表示，如图4所示，其中不同标志代表不同类别的表情样本，Circle代表中性，Plus sign代表开心，Asterisk代表悲伤，Right-pointing triangle代表惊讶，Cross代表生气，Square代表厌恶，Diamond代表害怕。图4(a)中原本混叠较为的严重的Square和Cross样本(分别代表厌恶和生气表情)、Circle和Plus sign(分别代表中性和开心表情)，在4(b)中变得更容易区分，不同类别的样本数据更大，同样验证了本发明能够投影得到更具判别特性的特征，从而改善识别性能。

(3)CK+数据集降维算法实验对比与分析

为了验证本发明在多个数据集上的表现，本实验基于CK+数据集，实验方式依然采用交叉验证的方式，共计进行十次，最后取算术平均作为识别率的依据，本实验同样对比本发明和传统LDA算法在不同数据集上的表现，从而验证本发明所述算法鲁棒性，实验结果如表3和图5所示。

表3 CK+数据集两种算法识别率比较

如图5所示的两者在CK+数据集上的对比结果，纵向比较时，十次实验中有八次本发明较传统LDA算法都会有一个更高的识别率表现，横向比较时，红色折线10次交叉实验的平均识别率明显高于其平均值，由表3可知，LDA算法的平均识别率为93.5％，而采用本发明之后，十次十折交叉验证平均识别率达到了94.8％，平均识别率提高了1.3个百分点，CK+数据集对比实验结果验证了本发明的有效性。为了更加直观显示特征的空间分布，取数据集所有表情样本人脸区域降维后的前3维的特征在三维空间表示，如图6所示，其中，不同标志代表不同类别的表情样本，Circle代表生气，Plus sign代表蔑视，Asterisk代表厌恶，Right-pointing triangle代表害怕，Cross代表开心，Square代表悲伤，Diamond代表惊讶。图6(a)中混叠较为严重有Circle、Plus sign及Asterisk样本数据(分别代表生气、蔑视以及厌恶表情)，这些容易混淆的表情样本在6(b)中变得更容易区分，同时不同类别的样本数据之间的间距更大，同样表明本发明在CK+数据集上能够增加特征的判别能力，从而最终提高识别率，两个数据集的实验结果验证了本发明具有良好的鲁棒性和优越性。

综上所述，本发明将数据集初始特征输入时，由于初始特征维数较大，直接送入分类器会造成维数灾难，影响识别效率，所以特征降维作为识别过程的关键一环，作用尤为重要，本发明降维时分为两个步骤，首先采用LLE算法对输入特征进行初步降维，之所以采取这种策略是因LLE能够保持数据的流形结构，对于非线性特征数据的降维效果较好，初步降维之后，为了进一步提取特征的判别特性，本利用余弦相似度加权的线性判别分析降维算法作为进一步降维的手段，该算法更多关注的是特征的判别特性，理论分析和两个数据集上的实验结果验证了本专利算法具有更好的类内耦合度和类间离散度，并且达到了更好的降维效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于余弦相似度加权的线性判别分析降维方法，其特征在于，包括如下步骤：

步骤1、读取待分析的数据集X中的各个样本待获取的初始特征F，其中，假定数据集X中共有c个模式类，样本个数为N，并将数据集X表示为 表示第i模式类中的第j个样本，i＝1,2,…,c，j＝1,2,…,n_i，n_i表示第i个模式类中样本个数，所述初始特征F共有N行数据，假定对应的特征维度为d；

步骤2、基于LLE算法，对所读取的初始特征F进行初步降维以获得临时特征F′；

步骤3、获取样本特征数据即将临时特征F′作为输入特征，同时确定所对应的输入类别数为c以及最大降维维数为c-1；

步骤4、计算出样本特征数据中每类样本均值m_i和总体样本均值m；

步骤5、基于步骤3所获取样本特征数据以及步骤4所计算出m_i、m，获得基于余弦相似度加权的类内散度矩阵，并获得对应的类间散度矩阵，所述类内散度矩阵

所述类间散度矩阵

步骤6、创建基于余弦相似度加权的目标函数对样本特征数据进行进一步降维，所述目标函数其中为经投影变换后的类间散度矩阵， 为经投影变换后的类内散度矩阵，

步骤7、根据步骤6所产生的投影矩阵将输入特征映射到新的维度空间。

2.根据权利要求1所述的基于余弦相似度加权的线性判别分析降维方法，其特征在于：

步骤6中所述的对样本特征数据进行进一步降维所对应的步骤包括：以投影矩阵W满足最大的类间距离和最小的类内距离为原则，使得投影变换后的类间散度矩阵和类内散度矩阵的行列式之比最大并求解所述目标函数J(W)_WZLDA极大值，即对应的最佳投影矩阵满足下列方程：

表示经降维后的特征维度。

3.根据权利要求2所述的基于余弦相似度加权的线性判别分析降维方法，其特征在于：

步骤6中所述的投影变换是指设定数据集X样本特征向量向判别矢量集W上的投影即则投影变换后，在维空间中，数据集X中每类样本均值 总体的均值