CN111967499B - 基于自步学习的数据降维方法 - Google Patents

Abstract

本发明公开了一种基于自步学习的数据降维方法，涉及模式识别和数据挖掘技术领域。该方法首先定义基于核保持的损失项，通过设计一个新的正则化器得到最终的目标函数表达形式，采用了一种替代性优化策略得到要求得的矩阵，针对新输入的数据，左乘求得的矩阵就可以得到其低维表示。本发明为了进一步消除噪声和离群值的影响，在PCA中引入了人类的认知原理。这样可以提高PCA的泛化能力。其次，通过理论分析和实验能揭示了本发明的鲁棒性。针对最大化问题设计了一种新颖的加权函数，该函数可以定义样本的复杂度，并在学习过程中从“简单”样本逐渐学习为“复杂”样本。本发明的方法适用于高维度数据方面的降维操作。

Description

基于自步学习的数据降维方法

技术领域

本发明属于模式识别，数据挖掘领域，特别涉及一种基于自步学习的数据降维技术。

背景技术

如今，机器学习，模式识别和数据挖掘应用程序经常涉及具有高维性的数据，例如面部图像，视频，基因表达和时间序列。直接分析此类数据将遭受维度诅咒，并导致性能欠佳。因此，在后续分析之前寻找低维空间至关重要。主成分分析PCA是完成此任务的一种流行技术。

现如今有许多基于主成分分析的数据降维方法，例如基于nuclear-norm的robustPCA(RPCA)、基于图的RPCA、非凸的RPCA。还有基于L₁-norm的PCA方法，对L₁-norm的方法改进的最优平均RPCA(RPCA-OM)，以及基于L_2,p-RPCA的数据降维方法。尽管上述方法使用了不同类型的损失函数，但它们仍然可能对异常大的离群值敏感。另外，它们还有另一个固有的缺点，即它们同等地对待复杂和简单的样本，这违反了人类的认知过程。人工学习从学习任务的简单实例开始，然后逐步介绍复杂的实例。这种学习方案称为自定进度学习，可以缓解离群值问题。

所以说现有的方法无法模拟我们人类学习的一种模式，同时还会受到那些异常值的干扰。

发明内容

为了提高降维的鲁棒性，通过模仿人类的学习提出了一种称为自步PCA(SPCA)的方法。基于L_2,p-RPCA，我们设计了一个新的目标函数，可以动态评估样本的易用性。因此，我们的模型可以作为人类的学习方案，从简单到更复杂的样本进行学习。理论分析和实验结果均表明，我们提出的方法在降低维数方面优于现有的鲁棒PCA算法。本发明采用的技术方案为：首先定义基于核保持的损失项，对于x_i表示样本集合中的一个数据，U表示要求得的矩阵，目标函数表示为：

其中w_i是第i个样本的损失权重，x_i表示第i个图像数据，而f(w_i,η)是正则化器，其中η是年龄参数。以前，用于自定进度学习聚类的正则化器是：

f(w_i,η)＝η(w_ilogw_i-w_i)

通过取方程的导数获得的最优w_i是递减函数损失项，这是不适合我们的最大化问题。我们需要随着损耗增加的最优w_i增加，并随着损耗接近无穷大最终收敛到1。因此，设计了一个新的正则化器，如下所示：

然后我们就能得到最终的目标函数表达形式：

得到了目标函数后，为了解决问题，我们采用了一种替代性优化策略(AOS)，即，我们迭代更新一个参数，同时保持其他参数固定不变。具体求解方式如下：

S1.首先固定我们的权重值w_i，更新l_i，其中

为了正确地区分“简单”样本和“复杂”样本，我们将每个样本的损失归一化为“最大变化”区间，l_i的更新方程可以写成下面的形式：

S2.然后我们固定其他变量然后更新w_i，我们可以将目标函数转化为：

其中

然后通过对上述函数求关于w_i的一阶偏导数，我们可以求解到w_i的近似解如下：

S3.固定其他变量的值，这个时候我们需要更新我们的变量U，为了方便我们的对目标函数的更新，我们可以将目标函数等价于下面的形式：

其中H＝XLX^TU，

L＝D-S，矩阵S中的元素为s_ij，D为具有对角元素的对角矩阵，D中的元素

然后通过H做奇异值分解得到向量Q和V，最终我们可以得到U的表达式：

U＝QV^T

注意到H的值是依赖于U的值，而U的值又通过对H做奇异值分解得到，所以在这儿我们依旧使用交替优化策略(AOS)来对U来进行求解；

S4.循坏执行S1-S3，直到我们的函数收敛，我们就得到了最终的矩阵U。

S5.针对新输入的数据，左乘矩阵U就可以得到其低维表示。

本发明的优势在于，首先为了进一步消除噪声和离群值的影响，我们在PCA中引入了人类的认知原理。这样可以提高PCA的泛化能力。其次，通过理论分析和实验能揭示了我们方法的鲁棒性。针对最大化问题设计了一种新颖的加权函数，该函数可以定义样本的复杂度，并在学习过程中从“简单”样本逐渐学习为“复杂”样本。最后大量的样本实验证明了我们的方法的优越性。总结来讲，本发明的方法适用于高维度数据方面的降维操作，能够在现有方法达到非常优秀的效果。

附图说明

图1为本发明的流程图；

图2展示了COIL20的一些测试图像；

图3展示了对ORL数据执行了各种算法后得到的特征脸的对比图；

图4展示了模型训练过程中的随着p，η的变化对降维结果的影响；

图5展示了收敛过程示意图。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

首先定义基于自步学习的损失项，X＝[x₁,x₂,…,x_n]为我们的样本数据，U＝[u₁,u₂,…,u_k]是我们目标要求得的投影矩阵，其中，n>k，将高维数据X降成k维，损失项表示为：

其中w_i是第i个样本的损失权重，x_i表示第i个图像数据，而f(w_i,η)是正则化器，其中η是年龄参数。以前，用于自定进度学习聚类的正则化器是：

f(w_i,η)＝η(w_ilogw_i-w_i)

通过取方程的导数获得的最优w_i是递减函数损失项，这是不适合我们的最大化问题。我们需要w_i随着损失项增加而增加，并且最终随着损失项接近无穷大的时候，w_i收敛到1。因此，我们设计了一个新的正则化器，如下所示：

然后我们就能得到最终的目标函数表达形式：

对于我们提出的方法，我们通过使用不同的参数p得到了三种形式的方法，SPCA(p＝0.5，p＝1，p＝1.5)来进行我们的实验，同时对于参数η我们选取了0.1，0.2，0.5三个值来进行模型的训练，参数p与η的组合方式共9种。输入我们想要降维的维度k，保证U^TU＝I_k的前提下随机初始化矩阵U。

为了解决这一优化问题，我们采用了一种替代性优化策略(AOS)，即，我们迭代更新一个参数，同时保持其他参数固定不变。具体求解方式如下：

S1.固定我们的权重值w_i，更新l_i，其中

为了正确地区分“简单”样本和“复杂”样本，我们将每个样本的损失归一化为“最大变化”区间，l_i的更新方程可以写成下面的形式：

其中c是我们的标准化系数。

S2.然后我们固定其他变量然后更新w_i，我们可以将目标函数转化为：

其中

然后通过对上述函数求关于w_i的一阶偏导数，我们可以求解到w_i的近似解如下：

忽略下标，我们可以发现，这个函数是一个与l相关的平滑函数。

S3.固定其他变量的值，这个时候我们需要更新我们的变量U，为了方便我们的对目标函数的更新，我们可以将目标函数等价于下面的形式：

其中H＝XLX^TU，

L＝D-S，矩阵S中的元素为s_ij，D为具有对角元素的对角矩阵，D中的元素

然后通过H做奇异值分解得到向量Q和V，最终我们可以得到U的表达式：

U＝QV^T

注意到H的值是依赖于U的值，而U的值又通过对H做奇异值分解得到，所以在这儿我们依旧使用交替优化策略(AOS)来对U来进行求解，简单来讲就是循环执行对H奇异值分解过程得到矩阵U，然后通过矩阵U计算得到矩阵H。

S4.循坏执行S1-S3，直到我们的函数收敛，我们就得到了最终的矩阵U。

S5.针对新输入的数据，左乘矩阵U就可以得到其低维表示。

本发明实施例公开了一种更加具体的基于自步学习的数据降维方法，相对于上面这个案例我们对各个技术细节以及结果做出了更加具体的说明。

这一执行实例的具体操作可以分为三个步骤，图1描绘了流程图。步骤一是对数据集进行归一化等预处理操作，确定模型参数p，η的值。

在这个实例中，我们将方法固定为η＝0.1，p选0.5，1，1.5三种取值方式，并为方程设置相应的归一化系数c＝15。我们使用三个数据库(COIL20，ORL和JAFFE)。数据样本先进行归一化，随机选择30％的图像样本，在其上随机的放一个边长为图像1/4的正方形遮挡作为噪声图像。图2展示了COIL20的一些示例图像，其中原始图像在第一行，噪声图像在第二行。

在开始训练之前，针对每个数据库，我们从每个类别中随机选择一半图像的样本作为训练数据，其余图像用于测试。

此外，我们遵循它们的指标来评估重建性能，即使用平均重建误差这一个指标来衡量：

其中n是测试图像的数量，

是第i个处理后的测试图像。

步骤二则开始使用本发明的算法来计算投射矩阵U。

具体实施方案如下：

首先定义基于自步学习的损失项，X＝[x₁,x₂,…,x_n]为我们的样本数据，U＝[u₁,u₂,…,u_k]是我们目标要求得的投影矩阵，来将我们的高维数据X降成k维，其中，n>k，损失项表示为：

其中w_i是第i个样本的损失权重，x_i表示第i个图像数据，而f(w_i,η)是正则化器，其中η是预设年龄参数。以前，用于自定进度学习聚类的正则化器是：

f(w_i,η)＝η(w_ilogw_i-w_i)

通过取方程的导数获得的最优w_i是递减函数损失项，这是不适合我们的最大化问题。我们需要w_i随着损失项增加而增加，并且最终随着损失项接近无穷大的时候，w_i收敛到1。因此，我们设计了一个新的正则化器，如下所示：

然后我们就能得到最终的目标函数表达形式：

得到了目标函数以及确定相应的参数p，η之后，将这两个参数以及数据X(已经预处理过)，想要降维的维度k输入我们的模型，我们采用了一种替代性优化策略(AOS)，即，我们迭代更新一个参数，同时保持其他参数固定不变。具体求解方式如下：

S1.固定我们的权重值w_i，更新l_i，其中

为了正确地区分“简单”样本和“复杂”样本，我们将每个样本的损失归一化为“最大变化”区间，l_i的更新方程可以写成下面的形式：

其中c是我们的标准化系数，在这里我们设定的值为15。

S2.然后我们固定其他变量然后更新w_i，我们可以将目标函数转化为：

其中

然后通过对上述函数求关于w_i的一阶偏导数，我们可以求解到w_i的近似解如下：

忽略下标，我们可以发现，这个函数是一个与l相关的平滑函数。

S3.固定其他变量的值，这个时候我们需要更新我们的变量U，为了方便我们的对目标函数的更新，我们可以将目标函数等价于下面的形式：

其中H＝XLX^TU，

L＝D-S，矩阵S中的元素为s_ij，D为具有对角元素的对角矩阵，D中的元素

然后通过H做奇异值分解得到向量Q和V，最终我们可以得到U的表达式：

U＝QV^T

注意到H的值是依赖于U的值，而U的值又通过对H做奇异值分解得到，所以在这儿我们依旧使用交替优化策略(AOS)来对U来进行求解，简单来讲就是循环执行对H奇异值分解过程得到矩阵U，然后通过矩阵U计算得到矩阵H。

S4.循坏执行S1-S3，直到我们的函数收敛，我们就得到了最终的矩阵U。

最后，针对新输入的数据，左乘矩阵U就可以得到其低维表示。

上述过程的具体算法如下：

输入：需要降维的数据X＝[x₁,x₂,…,x_n](X需要进行标准化操作)，提前定义好的需要降维之后的维度k，以及参数p，η。

初始化U矩阵，要保证U^TU＝I_k。

While未收敛时候do：

计算

归一化

计算

While未收敛时候do：

计算H＝XLX^TU

对H做SVD分解得到H＝QΣV^T

计算U＝QV^T

End while

End while

输出：投影矩阵U

通过投影矩阵U计算得到相应的平均重建误差

步骤三：针对新数据，通过与U相乘得到其低维表示，得到降维后的数据表示。

表1显示了五个方法在三个数据集上相对于各个维度的重构误差。我们可以观察到，在所有情况下，本发明提出的SPCA明显优于其他的对比方法。具体来说，L1-PCA总体上不如其他四种方法。主要原因是它没有考虑均值问题。RPCA-AOM和RPCA-OM提供旗鼓相当的性能。一个可能的原因是RPCA-AOM陷入了不良的局部最小值。在大多数情况下，L_2,p-RPCA优于RPCA-OM和RPCA-AOM。这归因于L_2,p-RPCA的使用可以抑制离群值的影响。在所有情况下，L_2,p-RPCA击败RPCA-OM和RPCA-AOM可能需要使用其他p值。

表1本发明算法和其他算法平均重建误差比较

方法中的稀疏聚类(SSR)和谱聚类(SC)有显著提升，实验结果如表1所示。

为了更加清楚本发明的算法过程中，对数据的降维压缩过程，图3展示了使用几种算法在ORL数据集上得到的特征脸。第一列显示SPCA的特征脸，第二列RPCA-OM，第三列RPCA-AOM，第四列基于L_2,p-norm的PCA，最后一列L₁-norm的PCA。可以看出，大多数方法得到的特征脸都很模糊了。特别来讲，很难在L1-PCA看到的任何面孔。相较于其他方法，SPCA的特征脸受到的影响较小。

图4展示了各个参数对于我们的算法的影响，主要是针对p，η的参数分析，图4给出了η和p的组合效应。它说明当η和p都较小时，SPCA具有更好的性能，当η＝0.1和p＝0.5时，平均重构误差达到最小值。

同时针对本发明中的收敛问题，如图5所示，图5展示了收敛过程示意图，其描述了由简单到复杂得到这一个学习过程，是本发明的基本思想。我们在图5的第一次和第五次迭代中可视化目标函数的值和ORL样本的权重。可以看出，在训练过程开始时，每个样本的权重非常小，接近0。随着训练过程的推进，权重值增长的同时样本间的复杂多样性也会被揭示出来。

本领域的普通技术人员将会意识到，这里所述的实例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (4)

1.一种基于自步学习的数据降维方法，其特征在于，该方法包括以下步骤：

S1)首先定义基于自步学习的损失项，X＝[x₁,x₂,…,x_n]为样本图像数据，U＝[u₁,u₂,…,u_k]是目标要求得的投影矩阵，来将高维数据X降成k维，其中，n>k，所述自步学习的损失项表示为：

其中w_i是第i个样本图像数据的损失权重，x_i表示第i个样本图像数据，而f(w_I,η)是正则化器，其中η是预设年龄参数，p是预设参数；

S2)设计一个如下所示的正则化器：

然后得到最终的目标函数表达形式：

S3)预设参数p，η的值，并取想要降维的维度k的值，保证

的前提下随机初始化矩阵U，将p，η，k以及已经预处理过的样本图像数据X输入模型，采用替代性优化策略AOS得到目标要求得的投影矩阵U＝[u₁,u₂,…,u_k]；

S4)针对新输入的高维图像数据，左乘矩阵U就可以得到新输入的高维图像数据的低维表示；

其中，替代性优化策略AOS的具体求解方法如下：

S31)固定权重值w_i，更新l_i，其中

为了正确地区分简单样本和复杂样本，将每个样本的损失归一化为最大变化区间，l_i的更新方程可以写成下面的形式：

其中c是预设的标准化系数；

S32)然后我们固定其他变量，更新w_i，将目标函数转化为：

其中

然后通过对上述目标函数求关于w_i的一阶偏导数，可以求解到w_i的近似解如下：

忽略下标发现，这个函数是一个与l相关的平滑函数；

S33)固定其他变量的值，更新变量U，将目标函数等价于下面的形式：

其中H＝XLX^TU，

L＝D-S，矩阵S中的元素为s_ij，D为具有对角元素的对角矩阵，D中的元素

然后通过H做奇异值分解得到向量Q和V，最终我们可以得到U的表达式：

注意到H的值是依赖于U的值，而U的值又通过对H做奇异值分解得到，所以依旧使用交替优化策略AOS来对U来进行求解，简单来讲就是循环执行对H奇异值分解过程得到矩阵U，然后通过矩阵U计算得到矩阵H；

S34)循坏执行S31)-S33)，直到所述目标函数收敛，就得到了最终的矩阵U；

进一步地，步骤S34)之后还包括：

S35)使用平均重建误差这一个指标来衡量得到的最终的矩阵U：

其中n是测试图像数据的数量，

是第i个测试图像数据。

2.根据权利要求1所述的基于自步学习的数据降维方法，其特征在于，所述步骤S3)中预设参数p，η的值具体为，取p为0.5、1、1.5中的任意一个，同时取η为0.1、0.2、0.5中的任意一个。

3.根据权利要求2所述的基于自步学习的数据降维方法，其特征在于，所述步骤S31)中c的值为15。

4.根据权利要求3所述的基于自步学习的数据降维方法，其特征在于，所述步骤S35)中，当η＝0.1，同时p＝0.5时，平均重构误差达到最小值。

Images