CN104680179B - 基于邻域相似度的数据降维方法 - Google Patents

Abstract

本发明公开了一种基于邻域相似度的数据降维方法，主要解决现有方法仅用欧氏距离来衡量样本邻域结构从而导致数据结构不均衡时识别结果不理想的问题。其实现步骤是：(1)输入数据并归一化，随机初始化基矩阵和系数矩阵；(2)计算样本的对角协方差矩阵；(3)由对角协方差矩阵计算KL离散度；(4)由KL离散度计算邻域样本相似度；(5)计算样本的邻域类标分布矩阵；(6)由邻域类标分布矩阵计算邻域类标相似度；(7)由邻域样本相似度和邻域类标相似度计算邻域相似度；(8)根据邻域相似度应用于迭代准则，得到降维后的基矩阵和系数矩阵。本发明准确率高，能有效地对数据进行特征提取与降维，可用于数据与图像处理。

Description

基于邻域相似度的数据降维方法

技术领域

本发明属于数据处理技术领域，特别涉及一种数据降维方法，可用于数据与计算机图像识别。

背景技术

近年来科学技术的飞速发展使得原始数据的数量增多和可用性增强以爆炸的速度发生。随着传感器和计算机技术的发展，出现了越来越多可用的原始数据，如何从如此海量的数据中提取出有用的信息成为人们非常关注的焦点。数据降维是机器学习的一个重要研究领域。通过适当的降维技术来获取一种有效的表示方式，在多元数据分析中已经成为一个重要的、必要的和具有挑战性的问题。降维应该满足两个基本性质：第一，原始数据的尺寸应该减小；第二，找出并保留数据的主成分、隐藏的概念、突出的特性或潜在的变量，使得降维后的数据能有效地用于识别。在许多情况下，原始数据集或观察数据会被构成数据矩阵或张量，会被描述为线性或多重线性组合模型，所以，从代数的角度来看，降维可以被看做：将原始数据矩阵分解为两个因子矩阵。经典的降维方法，如主成分分析PCA，线性判别分析LDA，独立分量分析ICA，矢量量化VQ等都是一些低秩近似的范本。这些方法的统计特性各不相同，是因为它们对因子矩阵及其底层结构有不同的约束条件，它们也有一些共性：对因子矩阵中的元素没有任何约束。换句话说，在这些方法中，允许出现负数因子矩阵和减法运算。相比之下，非负矩阵分解NMF，它包含非负约束，具有局部表示特性，同时加强了相应问题的可解释性。这种方法及模型最早由Paatero和Tapper提出，在Lee和Seung之后引起了广泛的关注。

非负矩阵分解有两个互补的优点——非负约束和加性结合。一方面，在现实世界的许多种数据，如图像、光谱和基因数据的分析任务中，不管是表面还是潜在的结构，负值都是缺乏物理意义的。而原型通常都与特定的语义解释相对应。例如在人脸识别中，基图像通常是局部的而非整体的，类似人脸的一部分，如眼睛、鼻子、嘴巴或脸颊。另一方面，人们最感兴趣的地方自然是构成物体的局部特点，加性结合意味着这些感兴趣的局部可以组装在一起拼凑出整体。于是NMF在真实环境的场景和任务中取得了极大的成功。如在文本聚类中，不管是在提高精度还是在潜在语义识别上，NMF已经超越了谱聚类等经典的方法。目前，NMF已经成功地应用于人脸识别、文本挖掘聚类、社区发现、基因数据分析等问题中。

蔡登等人于2011年提出了图正则非负矩阵分解GNMF方法。在GNMF中作者构造了一个近邻图来表示样本的几何信息，要在矩阵分解的过程中保持这种几何结构。该方法是建立在局部不变性假设的基础上的：如果两个数据点的内在几何分布是紧密的，则这两个点在新基下的映射也应当是彼此靠近。这个假设在降维算法和流形学习理论中扮演着重要的角色。

李子青等人为了学习视觉模型的局部子空间表示提出了一种局部非负矩阵分解方法LNMF。它在标准NMF的非负约束的基础上在目标函数中添加了局部约束：(1)基向量个数应尽可能的少，(2)为了使不同基向量间的冗余最小，不同的基向量应当尽可能的正交，(3)应当只保留包含重要信息的成分。

上述LNMF与GNMF这两种方法存在的共同缺点是，仅采用欧氏距离来衡量样本邻域结构，其对距离相等但密度不同及类别分布不均匀的邻域结构不能合理的描述和保持结构信息，导致降维后数据的分类识别效果不理想。

发明内容

本发明的目的地在于针对上述已有技术的不足，提出一种基于邻域相似度的数据降维方法，以在数据结构分布不均衡的情况下，有效地实现了对数据的特征提取及降维，提高分类识别效果。

本发明的技术思路是：通过在非负矩阵分解中引入邻域样本相似度和邻域类标相似度，对于邻域结构相似和类标分布相似的样本点，其分解所得的系数矩阵的约束项被赋予较高的权值，以此兼顾样本密度和类别分布不均衡的情况，同时考虑基向量的正交性，有效地实现对数据的特征提取及降维。

本发明的技术方案包括如下步骤：

(1)输入n＝F×P幅原始图像，并对这些图像进行校准和对齐，裁剪为相同尺寸，其中F为原始图像类别数，P为每一类图像的张数；

(2)将每幅图像像素点的灰度特征值按列取出并顺序排列形成一个m维列向量，组成一个m×n的矩阵，对该矩阵的每一列进行归一化，得到原始矩阵X；

(3)对原始矩阵X进行基于邻域相似度的非负矩阵分解得到基矩阵U和系数矩阵V：

(3.1)选取特征维数r＝3×F，随机非负初始化基矩阵U的大小为m×r和系数矩阵V的大小为r×n；

(3.2)将原始矩阵X的每一列为一个样本点，计算每个样本点x_i与其近邻点x_j间的邻域样本相似度w_s(x_i,x_j)；

(3.3)计算每个样本点x_i与其近邻点x_j间的邻域类标相似度w_l(x_i,x_j)；

(3.4)计算每个样本点x_i与其近邻点x_j间的邻域相似度w(x_i,x_j)

以w(x_i,x_j)作为邻域相似度矩阵W的第(i,j)项元素，构成邻域相似度矩阵W；

(3.5)根据邻域相似度矩阵W计算拉普拉斯矩阵L＝D-W，D为对角矩阵，该对角矩阵的第j行第j列元素

本发明与现有技术对比，具有如下优点：

第一，本发明通过引入邻域协方差矩阵来计算邻域样本相似度，对于邻域结构相似的样本点，其分解所得的系数矩阵的约束项被赋予较高的权值，克服了已有权值计算方法在距离相等密度不同时的不合理性，更好地适应了样本密度不均衡的情况。

第二，本发明在考虑邻域样本相似度的基础上，根据邻域样本的已知类标信息构建邻域类标分布矩阵，这样组合得到的邻域相似度有效地兼顾了数据类别分布不均衡的情况，提高了识别性能。

第三，本发明考虑了基向量的正交性，通过使基向量个数尽可能少，不同基向量尽可能正交，在一定程度上避免了信息冗余，提升了降维的性能。

附图说明

图1为本发明的实现流程图；

图2为本发明使用的ORL人脸库的图像样本；

图3为本发明与现有三种方法在ORL人脸库中的聚类准确率随类数变化曲线；

图4为本发明与现有三种方法在ORL人脸库中的归一化互信息随类数变化曲线；

图5为本发明使用的Yale人脸库的图像样本；

图6为本发明与现有三种方法在Yale人脸库中的聚类准确率随类数变化曲线；

图7为本发明与现有三种方法在Yale人脸库中的归一化互信息随类数变化曲线；

图8为实测雷达辐射源信号中6类样本的模糊函数切片特征；

图9为本发明与现有三种方法在雷达辐射源信号中的聚类准确率随类数变化曲线；

图10为本发明与现有三种方法在雷达辐射源信号中的归一化互信息随类数变化曲线。

具体实施方式

下面结合附图对本发明的具体实施步骤和效果做进一步的详细描述。

参照图1，本发明的实现步骤如下：

步骤1.输入原始图像。

输入n＝F×P幅原始图像，并对这些图像进行校准和对齐，裁剪为大小相同的尺寸，其中F为原始图像类别数，P为每一类图像的张数。

步骤2.利用原始图像得到原始矩阵X。

将每幅原始图像像素点的灰度特征值按列取出，并顺序排列形成一个m维列向量，组成一个m×n的矩阵X'，对矩阵X'的每一列进行归一化，归一化是让矩阵X'的每一列各元素的和等于1，即：

其中，v'_j是矩阵X'的第j列向量，x'_i是列向量v'_j第i个元素，v_j是归一化后矩阵X的第j列，j＝1,2…,n；

将归一化后的列向量v_j按顺序排列构成原始矩阵X，即X＝{v₁,…,v_j}。

步骤3.对原始矩阵X进行基于邻域相似度的非负矩阵分解，得到基矩阵U和系数矩阵V。

(3.1)随机初始化非负基矩阵U和系数矩阵V：

实验中在不同数据库下随机选取2～10类图像，选取特征维数r＝3×F，对基矩阵U和系数矩阵V赋随机非负初始值，得到基矩阵U的大小为m×r，系数矩阵V的大小为r×n；

(3.2)将原始矩阵X的每一列作为一个样本点，计算每个样本点x_i与其近邻点x_j间的邻域样本相似度w_s(x_i,x_j)：

(3.2a)选取最近邻系数Q，计算每一个样本点x_i的邻域协方差矩阵C_i：

其中，Q_i是样本点x_i的Q个最近邻样本组成的集合；

为简化计算量，采用对角协方差矩阵来近似邻域协方差矩阵C_i，用下式按矩阵元素项计算邻域协方差矩阵C_i：

其中，C_i,kk是邻域协方差矩阵C_i的第k行、第k列矩阵元素，x_i,k和x_j,k分别为m维向量x_i和x_j的第k个元素，k＝1,2…,m；

将C_i,kk按顺序排列得到邻域协方差矩阵C_i，即

(3.2b)利用邻域协方差矩阵C_i，计算每个样本点x_i与其近邻点x_j间的KL离散度D_KL(x_i,x_j)：

上式化简后得到：

其中，tr(·)表示矩阵的迹；

(3.2c)利用KL离散度D_KL(x_i,x_j)，计算每个样本点x_i与其近邻点x_j间的邻域样本相似度w_s(x_i,x_j)：

其中，σ_s是邻域样本相似度平滑因子，其取值范围为0<σ_s<100；

(3.3)计算每个样本点x_i与其近邻点x_j间的邻域类标相似度w_l(x_i,x_j)：

(3.3a)将未知类标的样本类标记为“0”，得到每个样本点x_i的邻域类标分布矩阵H(x_i)为：

其中，h_i,f是类标同为f的样本个数，f＝0,1,…,F；

(3.3b)利用邻域类标分布矩阵H(x_i)，计算每个样本点x_i与其近邻点x_j间的邻域类标相似度w_l(x_i,x_j)：

其中，σ_l是邻域类标相似度平滑因子，其取值范围为0<σ_l<100；

(3.4)计算每个样本点x_i与其近邻点x_j间的邻域相似度w(x_i,x_j)：

(3.5)以邻域相似度w(x_i,x_j)作为邻域相似度矩阵W的第(i,j)项元素，构成邻域相似度矩阵W；

(3.6)根据邻域相似度矩阵W计算拉普拉斯矩阵L＝D-W，D为对角矩阵，该对角矩阵的第j行第j列元素

(3.7)通过乘法法则迭代更新基矩阵U和系数矩阵V：

(3.7a)由拉普拉斯矩阵L，构建基于邻域相似度的非负矩阵分解的目标函数：

其中，λ是系数矩阵V的非负正则化系数，γ是基矩阵U的非负正则化系数，tr(·)表示矩阵的迹；

(3.7b)由目标函数推导出迭代更新法则：

在目标函数中对引入约束U_im的拉格朗日乘子ψ_im和约束V_mj的拉格朗日乘子以使得U_im≥0和V_mj≥0，U_im是基矩阵U的第i行、第m列元素，V_mj是系数矩阵V的第m行、第j列元素，则拉格朗日函数为：

其中，Ψ是约束U_im的拉格朗日乘子ψ_im的矩阵，即Ψ＝(ψ_im)，Φ是约束V_mj的拉格朗日乘子的矩阵，即

对拉格朗日函数L分别计算基矩阵U和系数矩阵V的偏导数，得到：

其中，1∈R^r×r是全部元素为1的矩阵，应用卡罗需·库恩·塔克条件求解<2>式，得到：

令L＝L⁺-L^-，代入<3>式并推导得到以下更新准则：

其中，L⁺＝(abs(L)+L)/2，L^-＝(abs(L)-L)/2，abs(L)表示对拉普拉斯矩阵L的所有元素计算绝对值，_·*表示矩阵按元素项相乘，λ是系数矩阵V的非负正则化系数，γ是基矩阵U的非负正则化系数；

(3.7c)迭代更新计算基矩阵U和系数矩阵V：

本发明的效果可通过以下仿真进一步说明：

1.仿真条件：

实验在Hp Compaq 6280 Pro MT PC，4G内存的计算机上进行，应用MATLAB 2010a软件进行仿真。

2.仿真内容：

用本发明和原始非负矩阵分解方法NMF、图正则非负矩阵分解方法GNMF、基于邻域样本相似度的非负矩阵分解方法NSS-NMF分别对ORL人脸库、Yale人脸库和雷达辐射源信号模糊函数特征数据进行降维，得到系数矩阵V。

用K均值聚类算法对系数矩阵V中各列系数向量进行聚类，得到估计类标。用得到的估计类标和原有的真实类标来计算聚类准确率AC和归一化互信息NMI，以这两个指标来评价降维性能，并输出结果。

聚类准确率AC是一种评价聚类效果的简单而直接的方法。对任意样本点x_i，有聚类准确率AC：

其中，r_i是真实类标，l_i是估计类标，map(l_i)函数保证估计类标l_i与真实类标r_i之间有合适的对应关系，δ(x,y)是狄拉克函数。

归一化互信息NMI用来评价样本估计类分布Z'与样本真实类分布Z之间的相似程度，互信息MI(Z,Z')定义如下：

其中，p(z_i)表示样本属于z_i类的概率，p(z'_j)表示样本属于z'_j类的概率，p(z_i,z'_j)表示样本同时属于z_i和z'_j类的概率。

归一化互信息：

其中，G(Z)为真实类分布Z的熵，G(Z')为估计类分布Z'的熵，max(G(Z),G(Z'))是对G(Z)和G(Z')取最大值。

实验1：对ORL人脸库进行仿真

ORL人脸库，是由英国剑桥Olivetti实验室从1992年4月到1994年4月期间拍摄的一系列人脸图像组成，共有40个不同年龄、不同性别和不同种族的对象。每个对象10幅图像共计400幅灰度图像组成，256个灰度级，图像尺寸为92×112，图像背景为黑色。其中人脸部分表情和细节均有变化。图2为ORL人脸库的图像样本。从图2中可以看出，数据库中人脸图像有表情，脸部方位以及光照等变化。

实验中对图像进行校准和眼部对齐，对脸部区域进行降维仿真实验，并取图像大小32×32，选取特征维数r＝3×F，F为类数。随机选取F类样本，F＝2,3,…10，将属于同一个人脸的10张图像作为一类。用K均值聚类算法对不同方法得到的系数矩阵V中各系数列向量进行聚类。已有研究表明当迭代100次以后，目标函数的值在10^-7数量级。通过交叉验证选取参数：Q＝5，σ_s＝3，σ_l＝0.1，γ＝0.1，迭代次数选择经验值100次，λ在集合{0.01,0.1,1,10,100}内选取使实验结果最优的值，本实验中选取λ＝10。

本实验通过聚类得到估计类标，计算聚类准确率AC和归一化互信息NMI。实验结果取20次平均，其中聚类准确率AC的结果如图3，归一化互信息NMI的结果如图4。

从图3和图4的曲线可以看出：(1)随着类数的增多，本发明越来越体现出了它的优越性，比已有三种算法性能更加稳定。(2)引入邻域类标相似度后，本发明相较于只基于邻域样本相似度的NMF算法性能提升明显，平均聚类准确率提升了3％，这是因为本发明在邻域样本相似度信息的基础上加入了邻域类标信息，含有了更加全面的局部信息。(3)本发明在目标函数中加入基向量正交约束项，进一步提高了算法性能。

实验2：对Yale人脸库进行仿真

Yale数据库由耶鲁大学视觉与控制中心创建，该数据库包括15人每人11幅正视图，每幅图像具有不同的面部表情、有或无眼镜，这些图像在不同的光照条件下拍摄。该数据库的特点是光照变化显著，且面部有部分遮掩。图5所示为Yale数据库的图像样本。

本实验中对图像进行校准和眼部对齐，对脸部区域进行降维仿真实验，并取图像大小32×32，选取特征维数r＝3×F，F为类数。随机选取F类样本，F＝2,3,…10。用K均值聚类算法对不同方法得到的系数矩阵V中各系数向量进行聚类。已有研究表明当迭代100次以后，目标函数的值在10^-7数量级。通过交叉验证选取参数：Q＝1，σ_s＝40，σ_l＝50，γ＝0.1，迭代次数选择经验值100次，λ在集合{0.01,0.1,1,10,100}内选取使实验结果最优的值，本实验中选取λ＝1。

本实验通过聚类得到估计类标，计算聚类准确率AC和归一化互信息NMI。实验结果取20次平均，其中聚类准确率AC的结果如图6，归一化互信息NMI的结果如图7。

从图6和图7中的曲线可以看出：在Yale数据库上的实验结果同样表明，引入邻域类标相似度使本发明性能得到进一步提升，AC和NMI两项指标平均值分别高出NSS-NMF算法2％和1％，高出GNMF算法都近3％，说明考虑邻域类标信息能够很有效地提高算法聚类性能。值得注意的是，由于Yale数据受光照影响，样本结构信息相对来说不太明显，因此邻域结构在目标函数中所占的比重即λ值设置时选择较小值。

实验3：对雷达辐射源信号特征数据进行仿真

实验所用的雷达信号为民航应答信号，首先求取雷达信号的模糊函数，提取模糊函数代表性切片特征，形成雷达辐射源信号特征数据库。本实验选用的数据共有13类，每类80个样本，共计1040个样本组成，原始维数为1024维。图8给出了数据库中1-6类样本信号的模糊函数特征波形。

本实验中选取特征维数r＝3×F，F为类数。随机选取F类样本，F＝2,3,…10。用K均值聚类算法对不同方法得到的系数矩阵V中各系数向量进行聚类。已有研究表明当迭代100次以后，目标函数的值在10^-7数量级。通过交叉验证选取参数：Q＝3，σ_s＝12，σ_l＝80，γ＝0.1，迭代次数选择经验值300次，λ在集合{0.01,0.1,1,10,100}内选取使实验结果最优的值，本实验中选取λ＝100。

本实验通过聚类得到估计类标，计算聚类准确率AC和归一化互信息NMI。实验结果取20次平均，其中聚类准确率AC的结果如图9，归一化互信息NMI的结果如图10。

从图9和图10中可以看出，在对雷达辐射源信号特征数据的实验中，本发明的性能提升最为明显，平均聚类准确率比NSS-NMF算法提高了5.4％，比GNMF算法提高了10％，平均归一化互信息也分别提高了近7％和8％。由于实测雷达信号的数据分布复杂，结构信息丰富，因此结构信息利用地越合理，性能提升便会越明显。这充分说明了本发明方法有效性。

以上仿真结果表明，采用本发明，能有效地提升对数据降维后的聚类效果，具有良好的适用性。

Claims (3)

1.一种基于邻域相似度的数据降维方法，包括如下步骤：

(1)输入n＝F×P幅原始图像，并对这些图像进行校准和对齐，裁剪为相同尺寸，其中F为原始图像类别数，P为每一类图像的张数；

(2)将每幅图像像素点的灰度特征值按列取出并顺序排列形成一个m维列向量，组成一个m×n的矩阵，对该矩阵的每一列进行归一化，得到原始矩阵X；

(3)对原始矩阵X进行基于邻域相似度的非负矩阵分解得到基矩阵U和系数矩阵V：

(3.1)选取特征维数r＝3×F，随机非负初始化基矩阵U的大小为m×r和系数矩阵V的大小为r×n；

(3.2)将原始矩阵X的每一列为一个样本点，计算每个样本点x_i与其近邻点x_j间的邻域样本相似度w_s(x_i,x_j)；

(3.3)计算每个样本点x_i与其近邻点x_j间的邻域类标相似度w_l(x_i,x_j)；

(3.4)计算每个样本点x_i与其近邻点x_j间的邻域相似度w(x_i,x_j)

以w(x_i,x_j)作为邻域相似度矩阵W的第(i,j)项元素，构成邻域相似度矩阵W；

(3.5)根据邻域相似度矩阵W计算拉普拉斯矩阵L＝D-W，D为对角矩阵，该对角矩阵的第j行第j列元素D_jj＝∑_lw_jl；

(3.6)通过乘法法则更新，利用公式迭代求解系数矩阵V和基矩阵U，达到预设最大迭代次数后退出循环，得到r×n的系数矩阵V，r＜＜m，实现对原始矩阵X的降维，其中，.*表示矩阵按元素项相乘，1∈R^r×r是全部元素为1的矩阵，λ是系数矩阵V的非负正则化系数，γ是基矩阵U的非负正则化系数，L⁺＝(abs(L)+L)/2，L^-＝(abs(L)-L)/2，abs(L)表示对拉普拉斯矩阵L的所有元素计算绝对值。

2.根据权利要求1所述的基于邻域相似度的数据降维方法，其特征在于，步骤(3.2)计算每个样本点x_i与其近邻点x_j间的邻域样本相似度w_s(x_i,x_j)，按如下步骤进行：

(3.2a)选取最近邻系数Q，计算每一个样本点x_i的邻域协方差矩阵C_i：

其中，Q_i是样本点x_i的Q个最近邻样本组成的集合，x_k表示第k个样本点；

(3.2b)利用邻域协方差矩阵C_i，计算样本点x_i与其近邻点x_j间的KL离散度D_KL(x_i,x_j)：

其中，tr(·)表示矩阵的迹，

(3.2c)利用KL离散度D_KL(x_i,x_j)，计算每个样本点x_i与其近邻点x_j间的邻域样本相似度w_s(x_i,x_j)：

其中，σ_s是邻域样本相似度平滑因子，其取值范围为0<σ_s<100。

3.根据权利要求1所述的基于邻域相似度的数据降维方法，其特征在于，步骤(3.3)计算每个样本点x_i与其近邻点x_j间的邻域类标相似度w_l(x_i,x_j)，按如下步骤进行：

(3.3a)将未知类标的样本类标记为“0”，得到每个样本点x_i的邻域类标分布矩阵H(x_i)为：

其中，h_i,f是类标同为f的样本个数，f＝0,1,…,F，Q表示第i个样本点x_i的最近邻系数；

(3.3b)利用邻域类标分布矩阵H(x_i)，计算每个样本点x_i与其近邻点x_j间的邻域类标相似度w_l(x_i,x_j)：

其中，σ_l是邻域类标相似度平滑因子，其取值范围为0<σ_l<100，H(x_j)表示第j个样本点x_j的邻域类标分布矩阵。