CN111476272A - 一种基于结构约束对称低秩保留投影的降维方法 - Google Patents

Abstract

本发明涉及一种基于结构约束对称低秩保留投影的降维方法，属于机器学习和模式识别技术领域。该方法包括以下步骤：S1：图像数据集预处理，形成训练集；其中训练集中包含图像数据的数据信息X矩阵和有监督数据标签T矩阵；S2：构建结构约束对称低秩保留投影模型，首先构建基础投影降维模型，同时引入低秩表示学习和监督信息；S3：采用合适的权重更新策略和结束规则对表示矩阵Z、投影矩阵P和监督信息矩阵R进行联合学习，得到训练好的投影降维模型；S4：将图像样本信息输入已训练好的投影降维模型，得到样本的目标分类和重建信息。本发明能够提升降维准确率。

Description

一种基于结构约束对称低秩保留投影的降维方法

技术领域

本发明属于机器学习和模式识别技术领域，涉及一种基于结构约束对称低秩保留投影的降维方法。

背景技术

在实际应用中，观察到的图像样本数据通常位于高维空间，这不仅增加了计算和存储空间的数量，而且导致了“维数诅咒”。因此，如何处理高维样本数据已成为机器学习和图像识别研究领域的关键问题，并且获得有效的低维子空间来表示原始高维数据具有非常重要的实践意义。降维是获得观测数据的紧凑低维表示的直接而有效的方法。降维的目的是在保留判别能力的同时找到包含大部分内在信息的低维子空间。降维方法多年来受到了广泛的关注，并且从不同的角度提出了许多有效的算法。其中，线性降维是最常见的降维方法之一，它试图寻找有意义的低维空间方法，通过线性变换获得在某些条件下的三维子空间。比如主成分分析(PCA)和线性判别式分析(LDA)是两种最典型的线性降维方法。然而，由于假设数据是线性的，导致线性降维方法不能很好地处理非线性数据。通过引入核方法，可以将线性降维方法轻松扩展为很好地处理非线性数据。例如，核PCA和核LDA是经典的非线性降维方法。

现有的基于低秩表示的方法主要集中在学习原始数据向量空间中的观测数据的低秩表示。因为没有任何映射功能，所以这些方法无法处理任何新样本。此外，低秩表示的计算成本相对较高，尤其是当观测数据的特征维数较高时。如果在使用低秩表示方法之前对原始观测数据进行降维，则可以很好地解决此问题。比如低秩稀疏表示(LRR)可以很好地保留所观察到的全局结构信息样本，并且能够很好地表示观察到的样本。由于数据维度的关系，导致良好的数据表示并不意味着应用于分类器时能获得良好的分类性能。为了提升分类性能，需要获得降维模型(映射函数)的同时，得到最合适的低秩区分表示。但是，这两个都不是事先知道的。

为了解决上述问题，本方法提出了一种新的基于结构约束对称低秩保留投影的降维方法，将观测样本的相似性区分信息用投影样本的低秩表示进行编码，同时对样本通过稀疏的低秩正则化项实现全局相似性。

发明内容

有鉴于此，本发明的目的在于提供一种新的基于结构约束对称低秩保留投影的降维方法，针对图像数据信息维度过高导致学习模型效果不好问题，在传统的投影降维方法上引入表示学习和有监督学习方法，采用交替方向法进行优化，从而得到最优参数的投影降维方法模型，该方法在有效的降维同时对原始数据有更好的表示。

为达到上述目的，本发明提供如下技术方案：

一种基于结构约束对称低秩保留投影的降维方法，包括以下步骤：

S1：图像数据集预处理，形成训练集；其中训练集中包含图像数据的数据信息X矩阵和有监督数据标签T矩阵；

S2：构建结构约束对称低秩保留投影模型，首先构建基础投影降维模型，同时引入低秩表示学习和监督信息；

S3：采用合适的权重更新策略和结束规则对表示矩阵Z、投影矩阵P和监督信息矩阵R进行联合学习，得到训练好的投影降维模型；

S4：将图像样本信息输入已训练好的投影降维模型，得到样本的目标分类和重建信息。

进一步，所述步骤S1中，图像数据集预处理，形成训练集的具体步骤为：对原始数据进行预处理，每个训练样本的原始数据信息为x_N＝[x_N1,…,x_ND]，得到包含图像数据的原始数据信息X矩阵和有监督标签T矩阵，其中

其中m为类别的个数。

进一步，所述步骤S2中，在传统的投影降维模型基础上引入低秩表示学习和有监督信息，构建基于结构约束对称低秩保留投影的降维模型。

首先构建基本的投影降维模型，如下：

Y＝PX

其中，P为投影矩阵，Y为降维后得到的数据；然后在基础投影降维模型中同时构建表示矩阵Z和监督信息矩阵R，利用学习表示矩阵和有监督信息对投影降维进行约束，使其在降维的同时，让数据丢失信息更少，降维后能最大化表示原始数据。其中R由T计算得到。

由于基于低秩稀疏表示的学习方法本质上属于转导方法，存在无法处理原始的高维数据的问题。因此，通过将表示矩阵和投影矩阵构建在一个模型中，可以在学习到表示矩阵的同时对原始数据进行降维投影。

进一步，所述步骤S3中，对步骤S2中已构建的模型进行联合学习，通过两者联合学习，可以利用迭代优化不断地学习得到更适合表示数据的图Z及更能有效投影到低位空间的低维映射矩阵P。并且通过R矩阵引入部分监督信息，构成半监督学习，提高降维准确率。

对表示矩阵，投影矩阵和标签信息矩阵进行联合学习联合更新优化，基于结构约束对称低秩保留投影的降维联合优化学习模型如下：

s.t. PX＝PXZ+E,Z＝Z^T

其中，λ和β表示低秩项、稀疏项和噪声的平衡参数，γ表示重建误差的平衡参数，然后采用交替方向法(ADM)对优化学习模型进行优化操作。

更进一步，采用交替方向法(ADM)进行优化操作的具体步骤为：

1)采用ADM方法优化，首先固定P更新Z和E，可得到：

s.t.PX＝PXZ+E,Z＝Z^T

为了计算更加方便，引入L参数，进行进一步变换得到：

s.t.PX＝PXZ+E,Z＝L,L＝L^T

上述模型的增广拉格朗日函数为：

其中，Y₁和Y₂是Lagrange乘子，μ是惩罚系数。固定P参数，同时更新Z和E变量来优化增广Lagrange函数。

对Z求导数，

得到，

对L求导数，

得到，

对E求导数，

得到，

2)利用ADM方法优化，固定Z更新P和E，可得到：

s.t. PX＝PXZ+E，Z＝Z^T，PP^T＝I

上述模型的增广拉格朗日函数为：

对P求导数，

得到，

3)重复执行步骤1)和步骤2)直至参数收敛。得到训练好的降维模型，用于数据降维。

进一步，所述步骤S4中，将待降维的图像信息输入已训练好的降维模型，得到数据降维结果，包括：首先获得测试样本图像X_test，代入投影降维模型Y＝PX_test得到测试样本的降维结果，结果可用于后续的分类等机器学习任务。

本发明的有益效果在于：本发明将观测样本的相似性区分信息用投影样本的低秩表示进行编码，同时对样本通过稀疏的低秩正则化项实现全局相似性。本发明通过联合学习映射和表示，使得稀疏的低秩表示和映射函数可以相互改善。与PCA和LDA两种最典型的线性降维方法相比，本发明明显的提升了降维准确率。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明所述降维方法的流程图；

图2为COIL20数据库示意图；

图3为训练时收敛曲线图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图3，为一种基于结构约束对称低秩保留投影的降维方法，流程图如图1所示：首先进行数据预处理，随后构建模型，之后通过联合学习，对参数进行更新优化。得到好的表示效果的同时进行数据投影降维，最后对数据进行降维处理。

下面为本发明优选的一个实施实例，具体步骤如下：

步骤1、本实施例采用此任务是使用COIL20数据作为训练样本，如图2所示，该图中有 20个不同的对象，每个对象包括72个图像，这些图像是从不同角度间隔获得的。每个图像被为32×32像素，1024维特征的大小。

步骤2、在COIL对象图像数据库的实验中，每个对象的任何10个图像都被用作训练集，每个对象的其余图像用作测试样本。惩罚参数γ，λ，μ和β分别设置为5、1、5和5。同时初始化Z，P，E矩阵参数为0，此时构建模型完毕。

步骤3、采用交替优化方法对模型进行联合训练。当参数变化不明显时，停止训练，得到投影降维模型。

根据模型增强模型，设置数据维度为1024，降维的目标维度为32，压缩比例为32倍；

初始化学习率，惩罚系数和权重矩阵。对下式Z,P和E进行优化。

循环运行，直至P收敛。收敛曲线如图3。

步骤4、得到P参数后，首先预处理待测试的样本数据X_test，将样本输入投影模型得到最终的数据降维结果，Y＝PX_test。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于结构约束对称低秩保留投影的降维方法，其特征在于，该方法包括以下步骤：

S1：图像数据集预处理，形成训练集；其中训练集中包含图像数据的数据信息X矩阵和有监督数据标签T矩阵；

S2：构建结构约束对称低秩保留投影模型，首先构建基础投影降维模型，同时引入低秩表示学习和监督信息；

S3：采用合适的权重更新策略和结束规则对表示矩阵Z、投影矩阵P和监督信息矩阵R进行联合学习，得到训练好的投影降维模型；

S4：将图像样本信息输入已训练好的投影降维模型，得到样本的目标分类和重建信息。

2.根据权利要求1所述的一种基于结构约束对称低秩保留投影的降维方法，其特征在于，所述步骤S2具体包括：首先构建基础投影降维模型为：

Y＝PX

其中，P为投影矩阵，Y为降维后得到的数据；然后在基础投影降维模型中同时构建表示矩阵Z和监督信息矩阵R，利用学习表示矩阵和有监督信息对投影降维进行约束。

3.根据权利要求1所述的一种基于结构约束对称低秩保留投影的降维方法，其特征在于，所述步骤S3中，对步骤2中已构建的模型进行联合学习，具体包括：对表示矩阵Z、投影矩阵P和监督信息矩阵R进行联合学习联合更新优化，基于结构约束对称低秩保留投影的降维联合优化学习模型为：

s.t.PX＝PXZ+E,Z＝Z^T

其，中λ和β表示低秩项、稀疏项和噪声的平衡参数，γ表示重建误差的平衡参数，然后采用交替方向法对优化学习模型进行优化。

4.根据权利要求3所述的一种基于结构约束对称低秩保留投影的降维方法，其特征在于，所述采用交替方向法对优化学习模型进行优化的具体步骤为：

1)首先固定P更新Z和E，然后引入参数L，则优化学习模型变换为：

s.t.PX＝PXZ+E,Z＝L,L＝L^T

其增广拉格朗日函数为：

其中，Y₁和Y₂是Lagrange乘子，μ是惩罚系数；固定P参数，同时更新Z和E变量来优化增广Lagrange函数；

对Z求导数，

得到，

对L求导数，

得到，

对E求导数，

得到，

2)利用ADM方法优化，固定Z更新P和E，得到：

s·t·PX＝PXZ+E，Z＝Z^T，PP^T＝I

其增广拉格朗日函数为：

对P求导数，

得到，

3)重复执行步骤1)和步骤2)直至参数收敛，得到训练好的降维模型，用于数据降维。

5.根据权利要求1所述的一种基于结构约束对称低秩保留投影的降维方法，其特征在于，所述步骤S4中，将待降维的图像信息输入已训练好的降维模型，得到数据降维结果，包括：首先获得测试样本图像X_test，代入投影降维模型Y＝PX_test得到测试样本的降维结果。

Images