CN113936196B - 一种基于低秩拉普拉斯图学习的鲁棒数据降维方法 - Google Patents

Abstract

本发明公开了一种基于低秩拉普拉斯图学习的数据降维方法，该方法针对原始数据存在噪声或遮挡的情况下，学习数据的内在几何结构即鲁棒的低秩拉普拉斯图，并利用该低秩拉普拉斯图得到高维数据的低维映射以达到数据降维作用。提出的方法能够同时进行数据的低秩拉普拉斯图以及投影矩阵的学习，两者在产生的过程中相互促进。本方法利用了低维映射数据的低秩成分以获取数据的全局结构，数据的全局结构能抵抗数据中噪声的干扰同时低维数据也能在一定程度上减少噪声对投影矩阵的影响。

Description

一种基于低秩拉普拉斯图学习的鲁棒数据降维方法

技术领域

本发明涉及图像处理以及数据降维技术领域，具体是一种兼顾图学习和子空间学习的图像特征提取与数据降维方法。

背景技术

随着时代的发展，越来越多的图像和视频数据需要被分析和处理。而图像作为高维数据的代表，其具有数据量大而价值低的特点。如何通过合理的手段对其进行维度缩减以减少后续处理的计算成本和内存占用已经成为学者们关注的热点。很多经典而有效的数据降维方法被相继提出，例如主成分分析(PCA)，线性判别分析(LDA)，局部线性保留投影(LPP)等。

虽然已有的经典数据降维方法已经取得了很好的效果，但是它们都忽略了实际应用中的数据往往存在噪声以及图像数据中时常存在遮挡的情况。当输入数据存在噪声和遮挡时，这些方法的效果都会大打折扣。为此，需要一种针对噪声数据的数据降维方法更好的处理噪声以及图像数据中时常存在遮挡的情况。

发明内容

为了解决现有技术中存在的不足，本发明提出了一种基于低秩拉普拉斯图学习的鲁棒数据降维方法，通过构造了关于数据的低秩拉普拉斯图，该低秩拉普拉斯图可以很好的揭示排除噪声后样本之间的真实关系，通过该低秩拉普拉斯图可以获得投影矩阵进而可以将高维数据映射到合理的低维空间中。

本发明所采用的技术方案如下：

一种基于低秩拉普拉斯图学习的鲁棒数据降维方法，包括如下步骤：

步骤一：获取待处理的高维图像数据，将高维图像数据转换为数据向量X_i∈R^m,即图像的像素和为m；由此，高维图像数据的图像数据集合表示为矩阵X＝{X₁，X₂，…，X_n}∈R^{m ×n}，即假定为n张待处理的图像数据；基于转换后的图像数据集合X构造如下目标函数：

s.t.P^TP＝I，diag(S)＝0，S≥0，S^T1＝1

其中，P∈R^m×k为待求解的投影矩阵，k为自定义的图连通分量数；用于将高维数据映射到低维空间；S矩阵为低维空间中数据的低秩表示，即低秩拉普拉斯图；X_j为第j个数据样本所表示的数据向量，S_ij表示矩阵S中第i行第j列的元素；λ₁和λ₂为平衡因子；diag(S)＝0指S矩阵的对角线元素均为0，S^T1＝1中的1指的是所有元素为1的列向量；

步骤二：将投影矩阵P初始化设置为正交矩阵，基于下式目标函数对低秩拉普拉斯图S进行初始化：

步骤三：为便于求解，对步骤一种所构造的目标函数进行优化，具体地，将步骤一中构造的目标函数增加若干中间变量Z，U，E以松弛，改进后的目标函数表示为：

s.t.Z＝S，Z＝U，E＝P^TX-P^TXZ，PTP＝I，diag(S)＝0，S≥0，S^T1＝1

其中，Z，U，E分别为辅助矩阵变量，||U||_*表示求U所有特征值之和，||E||_2，1表示求E的L_2，1范数。

进一步，将优化后的目标函数转换为对应的增广拉格朗日函数以便于求解，其对应的形式:

其中，Y₁，Y₂，Y₃为拉格朗日乘子；μ为惩罚系数；是代表矩阵的F范数；任意〈A，B〉表示矩阵A和B的内积，即〈A，B＞＝Tr(A^TB)。

采用交替方向乘子(ADMM)更新的方法，对此增广拉格朗日函数进行求解

步骤四：循环迭代步骤三的求解过程，直到满足迭代结束条件。若符合以上迭代结束条件，则跳出循环；否则继续执行循环。当循环退出，则代表已经找出最优投影矩阵P；基于所获得的最优投影矩阵P，得到原始数据(即高维图像数据)的低维映射为P^TX。

进一步，采用交替方向乘子(ADMM)更新的方法，对此增广拉格朗日函数进行求解的过程如下：

Step 1:

固定其他变量(P，S，U，E)，只考虑Z变量，我们对关于Z的函数求导并令其为0，计算可得：

Step 2:

固定其他变量(P，S，Z，E)，只考虑U变量，U可以通过SVT求解获得

其中，Θ表示软阈值操作；

Step 3:

固定其他变量(P，S，Z，U)，只考虑E变量，E可以通过求解如下表达式获得

Step 4:

固定其他变量(P，Z，U，E)，只考虑S变量，S可以通过如下方式获得

S_ij＝(N_ij-G_ij/μ)₊

其中，N_ij为矩阵N中第i行第j列的元素，G_ij为矩阵G中第i行第j列的元素，表示为/>

Step 5:

固定其他变量(S，Z，U，E)，只考虑P变量，P可以通过求解如下特征方程获得

(XL_SX^T+λ₂X(I-Z)D(I-Z)^TX^T)P＝λP

其中，L_S＝D-(S+S^T)/2而D为对角矩阵，其对角线上对应的元素为D_ii＝∑_j(S_ij+S_ij)/2；I为单位矩阵；λ为特征值。

进一步，S_ij表示为：

其中，e为引入的辅助矩阵，e_ij为辅助矩阵e中第i行第j列的元素，而自适应参数/>k为自定义的图连通分量数。

进一步，基于降维后的图像数据能用于进一步的聚类或分类。

进一步，针对降维后的图像数据进行K-means聚类以挖掘数据中的隐含信息。

进一步，迭代结束条件为目标函数值小于某个阈值或者迭代次数大于设置的最大迭代次数。

本发明的有益效果：

本方法将子空间学习与拉普拉斯图学习放入统一框架，通过数据的低秩表示嵌入拉普拉斯图学习的过程中使得所学习的图矩阵S具有鲁棒性和判别性，在数据中存在大量噪声的情况下依然能获得良好的投影矩阵，使得高维数据的低维映射能比较容易地区分不同类别的数据。

本方法设计了一种独特的求解方式以求解目标函数中的相关变量，算法对应的解法能保证结果收敛和在较短时间内求解得到。

本方法提出的一种基于低秩拉普拉斯图学习的鲁棒数据降维方法能够很好的迁移到其他的学习方法中，比如本方法可以延伸至半监督学习，强化学习和深度学习领域。

本发明可以应用到存在大量噪声或遮挡的高维数据的特征提取中，得益于低秩拉普拉斯图学习，本发明可以更好的抵抗数据中存在的噪声，并在降维数据的聚类和分类实验中获得更好的效果。

附图说明

图1是本申请一种基于低秩拉普拉斯图学习的鲁棒数据降维方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

在本次具体实施案例中，选择用ORL人脸数据集作为聚类任务的数据输入。在获取到数据输入后，采用本发明的数据降维方法将原始的高维数据映射到低维空间中，降维后的数据体现了数据中样本的聚集关系，使用降维后的数据进行传统的K-means聚类操作。下面结合附图对本发明做详细的描述。

图1显示了本发明的详细流程图，本申请所提出的一种基于低秩拉普拉斯图学习的鲁棒数据降维方法，具体而言实施过程包括以下几步：

步骤一：获取待处理的高维图像数据，将高维图像数据转换为数据向量X_i∈R^m,即图像的像素和为m。由此，高维图像数据的图像数据集合表示为矩阵X＝{X₁，X₂，…，X_n}∈R^{m ×n}，即共有n张待处理的图像数据。基于转换后的图像数据集合X构造如下目标函数：

s.t.P^TP＝I，diag(S)＝0，S≥0，S^T1＝1

其中，P∈R^m×c为待求解的投影矩阵，用于将高维数据映射到低维空间；S矩阵为低维空间中数据的低秩表示，在本函数约束条件满足的情况下即为低秩拉普拉斯图。X_j为第j个数据样本所表示的数据向量，S_ij为矩阵S中第i行第j列的元素；λ₁，λ₂均为各项的平衡因子。disg(S)＝0指S矩阵的对角线元素均为0，S^T1＝1中的1指的是所有元素为1的列向量。目标函数中第二项为矩阵的核范数，对于任意矩阵M，||M||_*为M所有特征值之和；目标函数中第三项为矩阵的L_2，1范数，对于任意矩阵M，通常而言，我们将λ₁，λ₂从候选参数集合{10^-5，10^-4，10^-3，10^-2，10^-1，10¹，10²，10³}选择合适参数作为算法的参数初始设置。具体而言可以通过网格法的方式测试候选参数集合。

步骤二：将P矩阵初始化设置为正交矩阵，低秩拉普拉斯图S矩阵的初始化则是基于下式目标函数获得：

具体而言，S_i为矩阵的第i个向量，其中，e为引入的辅助矩阵，e_ij为辅助矩阵e中第i行第j列的元素，/>自适应参数 k为自定义的图连通分量数。

步骤三：为便于求解，对所构造的目标函数进行优化，具体地，将步骤一中构造的目标函数增加若干中间变量Z，U，E以松弛，改进后的目标函数表示为：

s.t.Z＝S，Z＝U，E＝P^TX-P^TXZ，P^TP＝I，diag(S)＝0，S≥0，S^T1＝1

其中，Z，U，E分别为辅助矩阵变量，||U||_*表示求U所有特征值之和，||E||_2，1表示求E的L_2，1范数。

将其约束条件转换至目标函数中，转而求解如下增广拉格朗日函数:

其中，Y₁，Y₂，Y₃为拉格朗日乘子，μ为惩罚系数。是代表矩阵的F范数；任意<A，B>表示矩阵A和B的内积，即<A，B>＝Tr(A^TB)。

采用交替方向乘子更新的方法，我们对此增广拉格朗日函数进行求解：

Step 1:

Z变量通过如下方式更新：

Step 2:

U通过SVT求解获得

Step 3:

E变量通过求解如下表达式获得

Step 4:

S变量通过如下方式获得

S_ij＝(N_ij-G_ij/μ)₊

其中，N_ij为矩阵N中第i行第j列的元素，G_ij为矩阵G中第i行第j列的元素，表示为/>

Step 5:

P变量通过求解如下特征方程获得

(XL_SX^T+λ₂X(I-Z)D(I-Z)^TX^T)P＝λP

其中，L_s=D-(S+S^T)/2而D为对角矩阵，其对角线上对应的元素为Dii＝∑_j(Si_j+S_ji)/2；I为单位矩阵；λ为特征值。

步骤四：循环迭代步骤三的求解过程，我们设置目标函数值小于10^-6或者迭代次数大于200次为迭代终止条件。若符合以上判定条件，则跳出循环；否则继续执行循环。当循环退出，则代表已经找出最优投影矩阵P，原始数据的低维映射为P^TX。

使用降维后的数据进行K-means聚类操作，利用聚类准确度的指标我们证实得到本发明用于图像高维数据进行数据维度缩减的有效性。降维后的数据通常可用于需要数据压缩或特征提取的其他机器学习方法的数据输入。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (7)

1.一种基于低秩拉普拉斯图学习的鲁棒数据降维方法，其特征在于，包括如下步骤：

步骤一：获取待处理的高维图像数据，将高维图像数据转换为数据向量X_i；由此高维图像数集合表示为矩阵S＝{X₁，S₂，…，S_n}∈R^m×n，m为图像的像素和，n为待处理的图像数据张数；基于转换后的图像数据集合X构造目标函数：

s.t.P^TP＝I，diag(S)＝0，S≥0，S^T1＝1

其中，P为待求解的投影矩阵，矩阵S为低维空间中数据的低秩表示，即低秩拉普拉斯图；X_j为第j个数据样本所表示的数据向量；S_ij表示矩阵S中第i行第j列的元素；λ₁和λ₂为平衡因子；

步骤二：将投影矩阵P初始化设置为正交矩阵，基于下式目标函数对低秩拉普拉斯图S进行初始化：

步骤三：对步骤一种所构造的目标函数进行优化；向目标函数中增加中间变量Z，U，E以松弛该目标函数，优化后的目标函数表示为：

s.t.Z＝S，Z＝U，E＝P^TX-P^TXZ，P^TP＝I，diag(S)＝0，S≥0，S^T1＝1

其中，Z，U，E分别为辅助矩阵变量，||U||_*表示求U所有特征值之和，||E||_2，1表示求E的L_2，1范数；

将优化后的目标函数转换为对应的增广拉格朗日函数；并且采用交替方向乘子更新的方法，对增广拉格朗日函数进行求解；

步骤四：循环迭代步骤三的求解过程，直到满足迭代结束条件，输出最优投影矩阵P，基于最优投影矩阵P，得到原始高维图像数据的低维映射为P^TX。

2.根据权利要求1所述的一种基于低秩拉普拉斯图学习的鲁棒数据降维方法，其特征在于，目标函数对应的增广拉格朗日函数的表达式为：

其中，Y₁，Y₂，Y₃为拉格朗日乘子；μ为惩罚系数；是代表矩阵的F范数；任意<A，B>表示矩阵A和B的内积，即<A，B>＝Tr(A^TB)。

3.根据权利要求2所述的一种基于低秩拉普拉斯图学习的鲁棒数据降维方法，其特征在于，采用交替方向乘子更新的方法，对增广拉格朗日函数进行求解的过程如下：

Step 1：

固定其他变量P，S，U，E，只考虑Z变量，对关于Z的函数求导并令其为0，计算可得：

Step 2：

固定其他变量P，S，Z，E，只考虑U变量，U可以通过SVT求解获得：

其中，Θ表示软阈值操作；

Step 3：

固定其他变量P，S，Z，U，只考虑E变量，E可以通过求解如下表达式获得：

Step 4：

固定其他变量P，Z，U，E，只考虑S变量，S可以通过如下方式获得：

S_ij＝(N_ij-G_ij/μ)₊

其中，N_ij为矩阵N中第i行第j列的元素，G_ij为矩阵G中第i行第j列的元素，表示为/>

Step 5：

固定其他变量S，Z，U，E，只考虑P变量，P可以通过求解如下特征方程获得：

(XL_SX^T+λ₂X(I-Z)D(I-Z)^TX^T)P＝λP

其中，L_S＝D-(S+S^T)/2而D为对角矩阵，其对角线上对应的元素为D_ii＝∑_j(S_ij+S_ji)/2；I为单位矩阵；λ为特征值。

4.根据权利要求1所述的一种基于低秩拉普拉斯图学习的鲁棒数据降维方法，其特征在于，S_ij表示为：

其中，e为引入的辅助矩阵，e_ij为辅助矩阵e中第i行第j列的元素，而自适应参数/>k为自定义的图连通分量数。

5.根据权利要求1所述的一种基于低秩拉普拉斯图学习的鲁棒数据降维方法，其特征在于，基于降维后的图像数据能用于进一步的聚类或分类。

6.根据权利要求5所述的一种基于低秩拉普拉斯图学习的鲁棒数据降维方法，其特征在于，针对降维后的图像数据进行K-means聚类以挖掘数据中的隐含信息。

7.根据权利要求1所述的一种基于低秩拉普拉斯图学习的鲁棒数据降维方法，其特征在于，迭代结束条件为目标函数值小于某个阈值或者迭代次数大于设置的最大迭代次数。