CN110648276A - 基于流形映射与字典学习的高维图像数据降维方法 - Google Patents

Abstract

本发明涉及一种基于流形映射与字典学习的高维图像数据降维方法，包括以下步骤：S1：定义并说明待处理的高维图像数据集和对应的低维映射；随机抽取部分数据作为新的训练数据集X₁；S2：用基于稀疏表示约束的拉普拉斯特征映射LE方法计算训练数据集X₁的低维映射Y₁；S3：从X₁中随机选取M个点，初始化标签字典，记为D_H；S4：用X₁和Y₁作为训练数据集计算D_H和C；S5：根据局部约束字典学习LCDL的前提假设计算得到D_L，采用局部约束与标签映射的字典学习方法来提高字典的判别性并完善字典的局部和标签信息；S6：基于以上步骤得到的D_H、D_L和C，计算新进入的高维图像数据x的低维映射y。

Description

基于流形映射与字典学习的高维图像数据降维方法

技术领域

本发明属于计算机应用技术领域，涉及一种基于流形映射与字典学习的高维图像数据降维方法。

背景技术

在自然领域和工业领域中，通过不同的生物传感器(人眼，人耳等)和人工传感器(摄像头，工业传感器等)能够捕获到数以万记的大规模高维图像数据信息。然而，这些信息存在着较大的冗余，在对高维图像数据进行直接操作的过程中会出现难以预计的问题。

对图像数据的高效处理一直以来都是机器学习领域的热点和关键问题。IndianPines数据集最早是用于高光谱图像分类的测试数据，由机载可视红外成像光谱仪(AVIRIS)于1992年对美国印第安纳州一块印度松木进行成像，然后截取尺寸为145*145的大小进行标注作为高光谱图像分类测试用途。在对Indian Pines数据集进行处理的过程中，现有技术在数据增量降维上存在许多问题，从而导致降维后的数据分类精度不。

为了能够快速高效地提取高维图像数据的有用信息并保留高维图像数据中的结构特性，大量的降维方法应运而生。在降维问题中，给定被观测的数据，如何高效地决定这些数据所依赖的低维子空间是解决降维问题的关键。最早提出的PCA，ICA，MDS，SOM等降维方法在处理线性问题时有着独特的优势。进年来，越来越多的研究团队对字典学习这一领域进行了深入的研究和探索，通过构造过完备冗余字典，实现对信号的稀疏表示。从本质上来说，字典学习就是一种线性的降维方法。

流形学习就是从高维采样数据中探测出低维流形结构。由于数据内部特征的限制，一些高维中的数据会产生维数上的冗余，实际上只需要比较低的维数就能对数据信号进行唯一表示。流形就是一个局部具有欧几里得空间性质的空间。将流形学习引入到机器学习主要有两种途径：其一，将原来在欧式空间中适用的算法加以改造，使得它工作在流形上，这样能够直接或间接地对流形的结构和性质加以利用；其二，直接分析流形的结构，并试图将其映射到一个欧式空间中，再在得到的结果上运用之前适用于欧式空间的算法来进行学习。应用流形学习对高维图像数据进行降维并非是新思路，早在2000年的《Science》杂志上就由Joshua B.Tenenbaum等人提出了一种全局降维方法，即ISOMAP，该方法就是基于对在欧式空间中适用的MDS降维方法进行改造，使其工作在流行上，最终实现对数据的非线性降维。同年11月份，由Sam T.Roweis等人提出的局部线性嵌入(LLE)降维方法又给降维领域的研究提供了新的方向。该方法假设一个流形在很小的局部邻域上可以近似看成是欧式的，也就是局部是线性的，那么通过LLE就能用线性拟合的系数对流形局部几何性质进行刻画。ISOMAP，LLE 以及在2002年由Mikhail Belkin等人提出的拉普拉斯特征映射(LE)的流形非线性降维方法共同奠定了处理高维图像数据的非线性降维方法的研究基础。

随着对大规模数据处理的进一步研究，如何快速有效低耗地对新样本数据进行降维映射操作，找到新样本数据与之前学习的数据之间的映射函数关系成为了很长一段时间以来困扰研究人员的重要问题。对于一般的思路来说，就是将新样本数据与之前的数据进行整体迭代，在这个过程中，往往是高耗且效果不佳的。

发明内容

有鉴于此，本发明的目的在于提供一种基于流形映射与字典学习的高维图像数据降维方法，使得在对高维图像数据进行降维操作时，能尽可能地保留数据的局部结构特性。同时，采用局部约束字典学习的方法能够高效地解决外样本点的增量问题，为处理大规模高维图像数据提供了行之有效的方法。

为达到上述目的，本发明提供如下技术方案：

一种基于流形映射与字典学习的高维图像数据降维方法，包括以下步骤：

S1：定义并说明待处理的高维图像数据集X＝{x₁，...，x_N}，和对应的低维映射Y＝{y₁，...，y_N}；以随机的方式从X中抽取部分数据构成一个小数据集，作为新的训练数据集X₁；

S2：用基于稀疏表示约束的拉普拉斯特征映射(Laplacian Eigenmaps，LE)方法计算训练数据集X₁的低维映射Y₁；

S3：从X₁中随机选取M个点，初始化标签(Landmark)字典，即高维空间字典，记为D_H；

S4：用X₁和Y₁作为训练数据集计算高维空间字典D_H和其编码矩阵C；

S5：根据局部约束字典学习(LCDL)的前提假设计算得到低维空间字典D_L，为了使得低维映射后的数据更好地应用于分类，采用局部约束与标签映射的字典学习方法来提高字典的判别性并完善字典的局部和标签信息。

S6：基于以上步骤得到的D_H、D_L和C，计算新进入的高维图像数据x的低维映射y。

进一步，在所述步骤S1中，数据降维的整个过程对符号进行统一标注，原始的D维数据空间中，X＝{x₁，...，x_N}，x_i∈R^D×1，其流形空间记为降维后的d维数据空间中，Y＝{y₁，...，y_N}，y_i∈R^d×1，其流形空间记为

数据降维的关键是找到DR映射关系，即

通过计算得到g，从而对新的数据点进行增量式降维计算。

进一步，所述步骤S2具体包括以下步骤：

S21：在不考虑增量的情况下对数据进行降维：仅使用LE；

如果两个数据实例i和j很相似，那么i和j降维后目标子空间中应该尽量接近，具体包括以下步骤：

S211：构建图G：

LE通过构建邻接矩阵为W的图来重构数据流形的局部结构特征，对于图G，G(V，E)，其中，V是点的集合，E是边的集合；

S212：确定权重W：

确定点与点之间的权重大小，选用热核函数(heat kernel)来确定，如果点i和点j相连，则关系权重设定为：

其中，t是需要根据经验确定的参数，这种需要提前定义的参数对分类效果的影响很大，所以在此采取一种更为简便的设定方法：

如果点i，j相连，W_ij＝1；否则，W_ij＝0

S213：优化目标函数：

设数据实例的数目为n，目标子空间，即最终降维目标维度为d；定义n×d大小的矩阵Y，其中每一个行向量

是数据实例i在目标d维子空间中的向量表示，即降维后的数据实例i；构建LE的目标函数：

min∑_i，j||y_i-y_j||²W_ij

其中，y_i是降维后的数据实例i在d维子空间的向量表示；y_j是降维后的数据实例j在d 维子空间的向量表示；||y_i-y_j||²表示两个数据实例i和j在d维子空间中的距离，W是图G 的邻接矩阵，对角矩阵D是图G的度矩阵，即权重之和：

具体的公式变换步骤如下：

L＝D-W即为图的拉普拉斯矩阵，所以，变换后的目标函数为：

min trace(Y^TLY)，s.t.Y^TLY＝I

S214：特征映射：

用拉格朗日乘子法对等式约束优化问题进行求解：

f(Y)＝tr(Y^TLY)+tr(Λ(Y^TLY-I))

基于上式对Y进行求导，得：

令

所以LY＝-DYΛ

其中，Λ是对角阵，L、D是实对角矩阵，L^T＝L，D^T＝D；

对于y向量，写为Ly＝λDY，通过求得d个最小非0特征值所对应的特征向量，实现降维，求得低维数据映射；

将LY＝-DYA带入目标函数mintrace(Y^TLY)，则：

min trace(Y^TLY)＝min trace(Y^T(-DYΛ))

＝min trace(-Y^TDYΛ)

由Y^TDY＝I，知原式＝min trace(-Λ)即为特征值之和，所以，为了目标函数最小化，选择最小的d个特征值所对应的特征向量；

S22：在考虑到增量的情况下对数据进行降维：使用Laplacian Eigenmaps (LE)+Sparse Representation(SR)Constraint；

在考虑增量式的降维时，一般会考虑将新的数据样本与之前的数据合在一起再重新迭代一次，但这样的方法往往是耗时且效果不佳的。将稀疏表示与流形学习方法相结合，计算新数据样本点的低维映射，包括以下步骤：

S221：将新数据样本代入目标函数：

S222：对步骤S221中的目标函数求导：

S223：得到新样本数据的低维表示：

S224：用稀疏表示约束优化权重矩阵W_(N+1)i

令a＝(W_(N+1)1，W_(N+1)2，...，W_(N+1)N)^T，

则，求解W的问题转化为a的优化问题：

进一步，在步骤S3中：

通过从X₁中随机选取M个点，初始化高维图像数据空间中的字典D_H，其中， D_H＝[d₁，d₂，...，d_M-1，d_M]。通过这种方式，将如何学习得到Landmark的问题转化为如何学习得到字典的问题，其中，字典的一列就是一个landmark；字典学习不仅节约了空间，还能高效地对每一个样本进行的线性表示。因此，如何高效地学习得到高维图像数据空间和低维映射空间的字典D_H和D_L是本发明的重点。

进一步，步骤S4具体包括以下步骤：

S41：定义高维图像数据空间中的字典D_H＝[d₁，d₂，...，d_M-1，d_M]∈R^D×M，其中，d_j∈R^{D ×1}， j＝1，2，...，M，M表示D_H的列数；数据x_i在字典D_H上的编码C_i＝[c_1i，c_2i，...，c_Mi]^T反映了x_i和D_H字典列之间的线性关系，通过x_i的最邻近landmarks得到数据x_i的线性表示，即：

通过最邻近landmarks来构建的x_i充分保留了高维图像数据的局部几何信息；

S42：在低维映射空间中，由步骤S1中

得到：

D_L＝[g(d₁)，g(d₂)，...，g(d_M-1)，g(d_M)]∈R^D×M

y_i＝g(x_i)，

其中，c_i的元素满足局部约束字典学习中的局部约束，即：如果d_j不是高维图像数据x_i的邻近，则c_ji＝0；

S43：同时优化以下两式：

S44：建立目标优化方程，学习高维空间字典D_H，并将低维嵌入作为强约束加在字典学习之后：

S45：引入引理1，消去g()，简化步骤S44中的优化目标方程；

引理1：已知：

表示高维图像数据空间到低维映射空间的映射关系；

定义u_p是

上的关于p的一个开放子空间，

直线段∈u_p，满足：

1≤s≤d，1≤t≤D，对于

都有：

该式表明：在p的一个小邻域内，

是

的上边界；将该式应用到步骤S44中优化目标方程的第二项，得：

S46：得到最终的对象优化目标，学习得到高维空间中的字典D_H：

进一步，所述步骤S5具体包括以下步骤：

S51：根据局部约束字典学习的前提假设，得到：如果在高维图像数据空间中，x_i在D_H上的编码矩阵是C_i，则对应于低维空间中，y_i在D_L上的稀疏编码也是C_i；

S52：令D_L＝[b₁，...，b_M]，b_j＝g(d_j)；

S53：与步骤S43同理，在学习低维空间中的字典时，同时优化以下两式：

其中，Y是在步骤S2中已知的低维映射矩阵，C是根据局部约束字典学习的前提假设推导的，所以最终求解D_L的问题就变成了标准的求解最小平方问题。

S54：优化求解得到D_L：

S55：为了提高D_L的判别性，并充分考虑原子的局部约束特征和标签信息，本文采用一种局部约束标签嵌入方法对D_L进行进一步约束；

S56：构建原子的局部特征约束模型：

S561：利用字典D_L中的所有原子构造一个具有K个顶点的近邻图G，每个顶点表示一个原子，假设M为近邻图G的权重矩阵，如果原子b_i是原子b_j的k近邻原子，则：

否则，M_ij＝0；

S562：定义顶点b_i的度是

定义U＝diag(s₁，...，s_n)；

S563：原子的局部特征约束模型为：

其中，L＝U-M为拉普拉斯图，

和

分别是b_i和b_j对应的编码，通过构建局部特征约束模型能够促使字典继承训练样本的结构特征，增强稀疏矩阵的判别性能；

S57：构建原子的标签嵌入约束模型：

利用特定类字典学习算法为每一个原子分配一个类标，并根据原子与训练样本类标间的关系设计判别稀疏编码矩阵Q，为了使得同类训练样本对应的编码稀疏尽可能地相似，并减少稀疏编码的分类误差，借鉴类标一致的判别稀疏编码误差项：

其中，A是线性转换矩阵，C是编码系数矩阵；Q中的q_i中第j个非零位置表示训练样本 y_i和b_j有共同的类标，线性转换矩阵A利用编码系数矩阵C和判别稀疏编码矩阵Q计算得到：

A＝QC^T(CC^T+λI)^-1

S58：构造D_L字典学习的目标函数：

最终求得对应的D_L并更新编码稀疏矩阵C

进一步，在步骤S6中具体包括：

根据对D_H，D_L，C的计算，对新的高维图像数据样本点进行映射，假设x_t是新的高维图像数据点，C_t是x_t的稀疏编码；

S61：固定D_H，求C_t：

其中，c_jt表示c_t的第j个元素；

在S61中体现了字典学习的迭代优化思想，即：先固定D_H，优化求C_t；再固定C_t，更新D_H，直至收敛；

S611：先固定D_H，优化求C_t

已知D_H已经完成了初始化或是上一步迭代的结果，求解得到C的第i列：

对上式用拉格朗日乘子法对等式约束项进行优化：

其中，ξ_k是ξ_k(x_t)的缩写，η是拉格朗日算子，

是包含了c_i中k个非0元素的列向量；以下是对

的各项拆分化简的过程：

其中，Q＝(ξ_k-x_i1^T)^T(ξ_k-x_i1^T)

第二项中，

是

的第j个元素，

和Q的对角元素相等，用

定义：

同理，第三项中，

综上所述：

分别对

和η求偏导且令偏导数为0，即

可知：

分别令两个偏导数为0，则有：

所以，

又因为

所以，

最终，

S612：固定C_t，更新字典D_H：

利用已更新的C_t，对D_H逐列更新，d_j是D_H中的第j列，c_j是C中的第j列，保持C和D_H中除j列之外的其他列固定，更新d_j：

其中，E＝X-∑_k≠jd_kc_k，β＝[c_j1 ²，...，c_jN ²]^T；

S62：求得C_t之后，依据局部约束字典学习的前提条件知：

y_t＝D_LC_t

其中，D_L和C_t都是已知的，最终得到高维图像数据x_t的低维映射y_t，实现数据的增量式降维。

本发明的有益效果在于：本发明基于字典学习领域提出的基于流形映射与字典学习的高维图像数据降维方法。利用局部约束字典学习的算法框架实现对新样本数据的增量操作，为高维图像数据的高效处理提供了行之有效的方法。采用本发明的降维方法对Indian Pines数据集进行处理，将高维的高光谱数据进行降维。相比于现有的图像降维方法，本发明中的方法在对提高数据增量降维上有很大的提升效果，同时通过采用原子的局部约束和标签信息来提高降维后数据的分类精度。本发明对数据进行了降维的预处理，这一操作在整个分类训练过程中是至关重要的。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明发明基于流形映射与字典学习的高维图像数据降维方法流程图；

图2为拉普拉斯特征映射算法流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，一种基于流形映射与字典学习的高维图像数据降维方法，包括以下步骤：

S1：定义并说明待处理的高维图像数据集X＝{x₁，...，x_N}，和对应的低维映射Y＝{y₁，...，y_N}；以随机的方式从X中抽取部分数据构成一个小数据集，作为新的训练数据集X₁；

S2：用基于稀疏表示约束的拉普拉斯特征映射(Laplacian Eigenmaps，LE)方法计算训练数据集X₁的低维映射Y₁；

S3：从X₁中随机选取M个点，初始化标签(Landmark)字典，即高维空间字典，记为D_H；

S4：用X₁和Y₁作为训练数据集计算高维空间字典D_H和对应的稀疏编码C；

S5：根据局部约束字典学习(LCDL)的前提假设计算得到低维空间字典D_L，为了使得低维映射后的数据更好地应用于分类，采用局部约束与标签映射的字典学习方法来提高字典的判别性并完善字典的局部和标签信息。

S6：基于以上步骤得到的D_H、D_L和C，计算新进入的高维图像数据x的低维映射y。

进一步，在所述步骤S1中，数据降维的整个过程对符号进行统一标注，原始的D维数据空间中，X＝{x₁，...，x_N}，x_i∈R^D×1，其流形空间记为

降维后的d维数据空间中，Y＝{y₁，...，y_N}，y_i∈R^d×1，其流形空间记为

数据降维的关键是找到DR映射关系，即

通过计算得到g，从而对新的数据点进行增量式降维计算。

本发明中的方法主要是用于提高Indian Pines高光谱图像数据集的降维处理速度和数据分类精度。在实际训练的过程中，将原始高维数据按70％和30％的比例分成两组，后一组中的数据用于进行增量处理，并观察在增量过程中的实际效果。

进一步，所述步骤S2具体包括以下步骤：

S21：在不考虑增量的情况下对数据进行降维：Laplacian Eigenmaps(LE)。该流形降维的基本思想：如果两个数据实例i和j很相似，那么i和j降维后目标子空间中应该尽量接近，如图2所示，具体包括以下步骤：

S211：构建图G：

LE通过构建邻接矩阵为W的图来重构数据流形的局部结构特征，对于图G，G(V，E)，其中，V是点的集合，E是边的集合；

S212：确定权重W：

确定点与点之间的权重大小，选用热核函数(heat kernel)来确定，如果点i和点j相连，则关系权重设定为：

其中，t是需要根据经验确定的参数，这种需要提前定义的参数对分类效果的影响很大，所以在此采取一种更为简便的设定方法：

如果点i，j相连，W_ij＝1；否则，W_ij＝0

S213：优化目标函数：

设数据实例的数目为n，目标子空间，即最终降维目标维度为d；定义n×d大小的矩阵Y，其中每一个行向量是数据实例i在目标d维子空间中的向量表示，即降维后的数据实例i；构建LE的目标函数：

min∑_i，j||y_i-y_j||²W_ij

其中，y_i是降维后的数据实例i在d维子空间的向量表示；y_j是降维后的数据实例j在d 维子空间的向量表示；||y_i-y_j||²表示两个数据实例i和j在d维子空间中的距离，W是图G 的邻接矩阵，对角矩阵D是图G的度矩阵，即权重之和：

具体的公式变换步骤如下：

L＝D-W即为图的拉普拉斯矩阵，所以，变换后的目标函数为：

min trace(Y^TLY)，s.t.Y^TLY＝I

S214：特征映射：

用拉格朗日乘子法对等式约束优化问题进行求解：

f(Y)＝tr(Y^TLY)+tr(Λ(Y^TLY-I))

基于上式对Y进行求导，得：

令

所以LY＝-DYΛ

其中，Λ是对角阵，L、D是实对角矩阵，L^T＝L，D^T＝D；

对于y向量，写为Ly＝λDY，通过求得d个最小非0特征值所对应的特征向量，实现降维，求得低维数据映射；

将LY＝-DYΛ带入目标函数mintrace(Y^TLY)，则：

min trace(Y^TLY)＝min trace(Y^T(-DYΛ))

＝min trace(-Y^TDYΛ)

由Y^TDY＝I，知原式＝min trace(-Λ)即为特征值之和，所以，为了目标函数最小化，选择最小的d个特征值所对应的特征向量；

S22：在考虑到增量的情况下对数据进行降维：使用Laplacian Eigenmaps(LE)+Sparse Representation(SR)Constraint；

在考虑增量式的降维时，一般会考虑将新的数据样本与之前的数据合在一起再重新迭代一次，但这样的方法往往是耗时且效果不佳的。将稀疏表示与流形学习方法相结合，计算新数据样本点的低维映射，包括以下步骤：

S221：将新数据样本代入目标函数：

S222：对步骤S221中的目标函数求导：

S223：得到新样本数据的低维表示：

S224：用稀疏表示约束优化权重矩阵W_(N+1)i

令a＝(W_(N+1)1，W_(N+1)2，...，W_(N+1)N)^T，

则，求解W的问题转化为a的优化问题：

进一步，在步骤S3中：

通过从X₁中随机选取M个点，初始化高维图像数据空间中的字典D_H，其中， D_H＝[d₁，d₂，...，d_M-1，d_M]。通过这种方式，将如何学习得到Landmark的问题转化为如何学习得到字典的问题，其中，字典的一列就是一个landmark；字典学习不仅节约了空间，还能高效地对每一个样本进行的线性表示。因此，如何高效地学习得到高维图像数据空间和低维映射空间的字典D_H和D_L是本发明的重点。

进一步，步骤S4具体包括以下步骤：

S41：定义高维图像数据空间中的字典D_H＝[d₁，d₂，...，d_M-1，d_M]∈R^D×M，其中，d_j∈R^{D ×1}， j＝1，2，...，M，M表示D_H的列数；数据x_i在字典D_H上的编码C_i＝[c_1i，c_2i，...，c_Mi]^T反映了x_i和D_H字典列之间的线性关系，通过x_i的最邻近landmarks得到数据x_i的线性表示，即：

通过最邻近landmarks来构建的x_i充分保留了高维图像数据的局部几何信息；

S42：在低维映射空间中，由步骤S1中

得到：

D_L＝[g(d₁)，g(d₂)，...，g(d_M-1)，g(d_M)]∈R^D×M

y_i＝g(x_i)，

其中，c_i的元素满足局部约束字典学习中的局部约束，即：如果d_j不是高维图像数据x_i的邻近，则c_ji＝0；

S43：同时优化以下两式：

S44：建立目标优化方程，学习高维空间字典D_H，并将低维嵌入作为强约束加在字典学习之后：

S45：引入引理1，消去g()，简化步骤S44中的优化目标方程；

引理1：已知：

表示高维图像数据空间到低维映射空间的映射关系；

定义u_p是

上的关于p的一个开放子空间，

直线段∈u_p，满足：

1≤s≤d，1≤t≤D，对于

都有：

该式表明：在p的一个小邻域内，

是

的上边界；将该式应用到步骤S44中优化目标方程的第二项，得：

S46：得到最终的对象优化目标，学习得到高维空间中的字典D_H：

进一步，所述步骤S5具体包括以下步骤：

S51：根据局部约束字典学习的前提假设，得到：如果在高维图像数据空间中，x_i在D_H上的编码矩阵是C_i，则对应于低维空间中，y_i在D_L上的稀疏编码也是C_i；

S52：令D_L＝[b₁，...，b_M]，b_j＝g(d_j)；

S53：与步骤S43同理，在学习低维空间中的字典时，同时优化以下两式：

其中，Y是在步骤S2中已知的低维映射矩阵，C是根据局部约束字典学习的前提假设推导的，所以最终求解D_L的问题就变成了标准的求解最小平方问题。

S54：优化求解得到D_L：

S55：为了提高D_L的判别性，并充分考虑原子的局部约束特征和标签信息，本文采用一种局部约束标签嵌入方法对D_L进行进一步约束；

S56：构建原子的局部特征约束模型：

S561：利用字典D_L中的所有原子构造一个具有K个顶点的近邻图G，每个顶点表示一个原子，假设M为近邻图G的权重矩阵，如果原子b_i是原子b_j的k近邻原子，则：

否则，M_ij＝0；

S562：定义顶点b_i的度是

定义U＝diag(s₁，...，s_n)；

S563：原子的局部特征约束模型为：

其中，L＝U-M为拉普拉斯图，

和

分别是b_i和b_j对应的编码，通过构建局部特征约束模型能够促使字典继承训练样本的结构特征，增强稀疏矩阵的判别性能；

S57：构建原子的标签嵌入约束模型：

利用特定类字典学习算法为每一个原子分配一个类标，并根据原子与训练样本类标间的关系设计判别稀疏编码矩阵Q，为了使得同类训练样本对应的编码稀疏尽可能地相似，并减少稀疏编码的分类误差，借鉴类标一致的判别稀疏编码误差项：

其中，A是线性转换矩阵，C是编码系数矩阵；Q中的q_i中第j个非零位置表示训练样本 y_i和b_j有共同的类标，线性转换矩阵A利用编码系数矩阵C和判别稀疏编码矩阵Q计算得到：

A＝QC^T(CC^T+λI)^-1

S58：构造D_L字典学习的目标函数：

最终求得对应的D_L并更新编码稀疏矩阵C

进一步，在步骤S6中具体包括：

根据对D_H，D_L，C的计算，对新的高维图像数据样本点进行映射，假设x_t是新的高维图像数据点，C_t是x_t的稀疏编码；

S61：固定D_H，求C_t：

其中，c_jt表示c_t的第j个元素；

在S61中体现了字典学习的迭代优化思想，即：先固定D_H，优化求C_t；再固定C_t，更新D_H，直至收敛；

S611：先固定D_H，优化求C_t

已知D_H已经完成了初始化或是上一步迭代的结果，求解得到C的第i列：

对上式用拉格朗日乘子法对等式约束项进行优化：

其中，ξ_k是ξ_k(x_t)的缩写，η是拉格朗日算子，

是包含了c_i中k个非0元素的列向量；以下是对

的各项拆分化简的过程：

其中，

第二项中，是

的第j个元素，

和Q的对角元素相等，用

定义：

同理，第三项中，

综上所述：

分别对

和η求偏导且令偏导数为0，即

可知：

分别令两个偏导数为0，则有：

所以，

又因为所以，

最终，

S612：固定C_t，更新字典D_H：

利用已更新的C_t，对D_H逐列更新，d_j是D_H中的第j列，c_j是C中的第j列，保持C和D_H中除j列之外的其他列固定，更新d_j：

其中，E＝X-∑_k≠jd_k c_k，β＝[c_j1 ²，...，c_jN ²]^T；

S62：求得C_t之后，依据局部约束字典学习的前提条件知：

y_t＝D_LC_t

其中，D_L和C_t都是已知的，最终得到高维图像数据x_t的低维映射y_t，实现数据的增量式降维。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于流形映射与字典学习的高维图像数据降维方法，包括以下步骤：

S1：定义并说明待处理的高维图像数据集X＝{x₁，...，x_N}，和对应的低维映射Y＝{y₁，...，y_N}；以随机的方式从X中抽取部分数据构成一个小数据集，作为新的训练数据集X₁；

S2：用基于稀疏表示约束的拉普拉斯特征映射LE方法计算训练数据集X₁的低维映射Y₁；

S3：从X₁中随机选取M个点，初始化标签字典，即高维空间字典，记为D_H；

S4：用X₁和Y₁作为训练数据集计算高维空间字典D_H和其编码矩阵C；

S5：根据局部约束字典学习LCDL的前提假设计算得到低维空间字典D_L，采用局部约束与标签映射的字典学习方法来提高字典的判别性并完善字典的局部和标签信息；

S6：基于以上步骤得到的D_H、D_L和C，计算新进入的高维图像数据x的低维映射y。

2.根据权利要求1所述的基于流形映射与字典学习的高维图像数据降维方法，包括以下步骤：在所述步骤S1中，数据降维的整个过程对符号进行统一标注，原始的D维数据空间中，X＝{x₁，...，x_N}，x_i∈R^D×1，其流形空间记为

降维后的d维数据空间中，Y＝{y₁，...，y_N}，y_i∈R^d×1，其流形空间记为

数据降维的关键是找到DR映射关系，即g：

通过计算得到g，从而对新的数据点进行增量式降维计算。

3.根据权利要求1所述的基于流形映射与字典学习的高维图像数据降维方法，包括以下步骤：所述步骤S2具体包括以下步骤：

S21：在不考虑增量的情况下对数据进行降维：仅使用LE；

如果两个数据实例i和j很相似，那么i和j降维后目标子空间中尽量接近，具体包括以下步骤：

S211：构建图G：

LE通过构建邻接矩阵为W的图来重构数据流形的局部结构特征，对于图G，G(V，E)，其中，V是点的集合，E是边的集合；

S212：确定权重W：

确定点与点之间的权重大小，选用热核函数来确定，如果点i和点j相连，则关系权重设定为：

其中，t是需要根据经验确定的参数，在此采取以下设定方法：

如果点i，j相连，W_ij＝1；否则，W_ij＝0

S213：优化目标函数：

设数据实例的数目为n，目标子空间，即最终降维目标维度为d；定义n×d大小的矩阵Y，其中每一个行向量

是数据实例i在目标d维子空间中的向量表示，即降维后的数据实例i；构建LE的目标函数：

min∑_i，j||y_i-y_j||²W_ij

其中，y_i是降维后的数据实例i在d维子空间的向量表示；y_j是降维后的数据实例j在d维子空间的向量表示；||y_i-y_j||²表示两个数据实例i和j在d维子空间中的距离，W是图G的邻接矩阵，对角矩阵D是图G的度矩阵，即权重之和：

D_ii＝D_jj

具体的公式变换步骤如下：

L＝D-W即为图的拉普拉斯矩阵，所以，变换后的目标函数为：

min trace(Y^TLY)，s.t.Y^TLY＝I

S214：特征映射：

用拉格朗日乘子法对等式约束优化问题进行求解：

f(Y)＝tr(Y^TLY)+tr(Λ(Y^TLY-I))

基于上式对Y进行求导，得：

令

所以LY＝-DYΛ

其中，Λ是对角阵，L、D是实对角矩阵，L^T＝L，D^T＝D；

对于y向量，写为Ly＝λDY，通过求得d个最小非0特征值所对应的特征向量，实现降维，求得低维数据映射；

将LY＝-DYΛ带入目标函数mintrace(Y^TLY)，则：

min trace(Y^TLY)＝min trace(Y^T(-DYΛ))

＝min trace(-Y^TDYΛ)

由Y^TDY＝I，知原式＝min trace(-Λ)即为特征值之和，所以，为了目标函数最小化，选择最小的d个特征值所对应的特征向量；

S22：在考虑到增量的情况下对数据进行降维：使用Laplacian Eigenmaps+SparseRepresentation Constraint；

在考虑增量式的降维时，将稀疏表示与流形学习方法相结合，计算新数据样本点的低维映射，包括以下步骤：

S221：将新数据样本代入目标函数：

S222：对步骤S221中的目标函数求导：

S223：得到新样本数据的低维表示：

S224：用稀疏表示约束优化权重矩阵W_(N+1)i

令a＝(W_(N+1)1，W_(N+1)2，...，W_(N+1)N)^T，

则，求解W的问题转化为a的优化问题：

s.t.x_N+1＝Xa。

4.根据权利要求1所述的基于流形映射与字典学习的高维图像数据降维方法，包括以下步骤：在步骤S3中：

通过从X₁中随机选取M个点，初始化高维图像数据空间中的字典D_H，其中，D_H＝[d₁，d₂，...，d_M-1，d_M]。

5.根据权利要求1所述的基于流形映射与字典学习的高维图像数据降维方法，包括以下步骤：步骤S4具体包括以下步骤：

S41：定义高维图像数据空间中的字典D_H＝[d₁，d₂，...，d_M-1，d_M]∈R^D×M，其中，d_j∈R^D×1，j＝1，2，...，M，M表示D_H的列数；数据x_i在字典D_H上的编码C_i＝[c_1i，c_2i，...，c_Mi]^T反映了x_i和D_H字典列之间的线性关系，通过x_i的最邻近landmarks得到数据x_i的线性表示，即：

S42：在低维映射空间中，由步骤S1中g：

得到：

D_L＝[g(d₁)，g(d₂)，...，g(d_M-1)，g(d_M)]∈R^D×M

y_i＝g(x_i)，

其中，c_i的元素满足局部约束字典学习中的局部约束，即：如果d_j不是高维图像数据x_i的邻近，则c_ji＝0；

S43：同时优化以下两式：

S44：建立目标优化方程，学习高维空间字典D_H，并将低维嵌入作为强约束加在字典学习之后：

S45：引入引理1，消去g()，简化步骤S44中的优化目标方程；

引理1：已知：g：

表示高维图像数据空间到低维映射空间的映射关系；

定义u_p是

上的关于p的一个开放子空间，

直线段∈u_p，满足：

1≤s≤d，1≤t≤D，对于

都有：

该式表明：在p的一个小邻域内，是的上边界；将该式应用到步骤S44中优化目标方程的第二项，得：

S46：得到最终的对象优化目标，学习得到高维空间中的字典D_H：

6.根据权利要求1所述的基于流形映射与字典学习的高维图像数据降维方法，包括以下步骤：所述步骤S5具体包括以下步骤：

S51：根据局部约束字典学习的前提假设，得到：如果在高维图像数据空间中，x_i在D_H上的编码矩阵是C_i，则对应于低维空间中，y_i在D_L上的稀疏编码也是C_i；

S52：令D_L＝[b₁，...，b_M]，b_j＝g(d_j)；

S53：与步骤S43同理，在学习低维空间中的字典时，同时优化以下两式：

其中，Y是在步骤S2中已知的低维映射矩阵，C是根据局部约束字典学习的前提假设推导的，

S54：优化求解得到D_L：

S55：为了提高D_L的判别性，并充分考虑原子的局部约束特征和标签信息，本文采用一种局部约束标签嵌入方法对D_L进行进一步约束；

S56：构建原子的局部特征约束模型：

S561：利用字典D_L中的所有原子构造一个具有K个顶点的近邻图G，每个顶点表示一个原子，假设M为近邻图G的权重矩阵，如果原子b_i是原子b_j的k近邻原子，则：

否则，M_ij＝0；

S562：定义顶点b_i的度是定义U＝diag(s₁，...，s_n)；

S563：原子的局部特征约束模型为：

其中，L＝U-M为拉普拉斯图，和

分别是b_i和b_j对应的编码；

S57：构建原子的标签嵌入约束模型：

利用特定类字典学习算法为每一个原子分配一个类标，并根据原子与训练样本类标间的关系设计判别稀疏编码矩阵Q，借鉴类标

一致的判别稀疏编码误差项：

其中，A是线性转换矩阵，C是编码系数矩阵；Q中的q_i中第j个非零位置表示训练样本y_i和b_j有共同的类标，线性转换矩阵A利用编码系数矩阵C和判别稀疏编码矩阵Q计算得到：

A＝QC^T(CC^T+λI)^-1

S58：构造D_L字典学习的目标函数：

最终求得对应的D_L并更新编码稀疏矩阵C

7.根据权利要求1所述的基于流形映射与字典学习的高维图像数据降维方法，包括以下步骤：在步骤S6中具体包括：

根据对D_H，D_L，C的计算，对新的高维图像数据样本点进行映射，假设x_t是新的高维图像数据点，C_t是x_t的稀疏编码；

S61：固定D_H，求C_t：

其中，c_jt表示c_t的第j个元素；

在S61中体现了字典学习的迭代优化思想，即：先固定D_H，优化求C_t；再固定C_t，更新D_H，直至收敛；

S611：先固定D_H，优化求C_t

已知D_H已经完成了初始化或是上一步迭代的结果，求解得到C的第i列：

对上式用拉格朗日乘子法对等式约束项进行优化：

其中，ξ_k是ξ_k(x_t)的缩写，η是拉格朗日算子，

是包含了c_i中k个非0元素的列向量；以下是对的各项拆分化简的过程：

其中，Q＝(ξ_k-x_i1^T)^T(ξ_k-x_i1^T)

第二项中，

是

的第j个元素，

和Q的对角元素相等，用定义：

同理，第三项中，

综上所述：

分别对

和η求偏导且令偏导数为0，即

可知：

分别令两个偏导数为0，则有：

所以，

又因为所以，

最终，

S612：固定C_t，更新字典D_H：

利用已更新的C_t，对D_H逐列更新，d_j是D_H中的第j列，c_j是C中的第j列，保持C和D_H中除j列之外的其他列固定，更新d_j：

其中，E＝X-∑_k≠jd_kc_k，β＝[c_j1 ²，...，c_jN ²]^T；

S62：求得C_t之后，依据局部约束字典学习的前提条件知：

y_t＝D_LC_t

其中，D_L和C_t都是已知的，最终得到高维图像数据x_t的低维映射y_t，实现数据的增量式降维。

Images