CN102880593A - 基于曲率预测的流形学习自适应邻域选择算法 - Google Patents

Abstract

基于曲率预测的流形学习自适应邻域选择算法，它涉及一种应用于流形学习的自适应邻域选择算法，以解决现有的领域选择算法应用于流形学习算法存在适应性差，低维嵌入质量差，算法复杂度较高的问题，算法的具体步骤为，步骤一、高维离散数据点的曲率计算；步骤二、自适应邻域选择，本发明能够广泛的应用到目前的流形学习算法，本发明能够根据数据集分布的不同曲率选择合适的领域大小，本发明以高维数据点的一个自适应邻域选择矩阵，能够有效地降低流形学习算法的复杂度和找到优化的邻域大小，实现最佳的低维嵌入，低维嵌入质量好。本发明用于流形学习算法。

Description

基于曲率预测的流形学习自适应邻域选择算法

技术领域

本发明涉及一种应用于流形学习的自适应邻域选择算法。 

背景技术

自2000年在《科学》杂志发表两篇关于等距映射算法(Isometric Mapping，ISOMAP)流形学习算法和局部线性嵌入算法(Local Linear Embedding，LLE)的论文起，流形学习成为了解决计算机科学领域问题，特别是机器视觉和模式识别领域的常用方法，通过将嵌入在高维空间的数据映射到低维空间，实现对高维数据的维数约简。随着现今科技发展情况下海量数据处理需求，流形学习算法成为了众多研究领域的热点，如人脸识别，指纹识别，网络海量数据处理等。 

目前基于流形假设的维数约简算法有很多，它们各自采用不同的方法来保持高维数据某一特征或多个特征来实现对高维数据的低维映射，LLE算法通过保持高维流形的局部线性结构实现对高维数据的降维；而ISOMAP算法通过保持高维数据点之间的测地线距离不变而实现维数约简的目标。基于上述两种算法，近年来出现了解决不同具体问题的流形学习算法，像拉普拉斯特征映射(Laplacian Eigen Mapping，LE)、局部线性投影算法(Local Linear Projection，LLP)及一些改进算法，如带标记的等距映射(L-ISOMAP)、海赛局部线性嵌入(Hessian LLE，HLLE)。据不完全统计，目前基于流形假设的降维算法不少于二十种。 

通过分析典型流形学习算法的实现流程，可以发现基于流形假设的维数约简算法都有一些共同的算法步骤，如计算距离、寻找邻近点、特征向量预测等。不同的流形学习算法对于距离的衡量各不相同，LLE等算法中采用欧氏距离，LE算法采用拉普拉斯特征算子来衡量距离，ISOMAP算法中提出用测地线来表示高维数据点距离。在距离表示上，许多算法的不同之处正是基于这一点实现了对高维数据的不同特征的提取与保持。但在已有的流形学习算法中，特别是基于LLE和ISOMAP算法提出的众多流形学习算法，都有一个关键步骤——寻找邻近点。邻近点，即邻域，选取的大小与嵌入结果的好坏息息相关。因为流形学习是基于数据点之间信息传播及高维数据局部特征提取的方法，只有适当的邻域大小才能最好的得到低维嵌入结果，并同时实现算法复杂度最小和嵌入“质量”最高。常见邻域选择的方式有两种：一是K最邻近(K Nearest Neighbors，KNN)；二是ε-超球体(ε-ball)。考虑到现有的流形学习算法，基本上都是基于KNN方法来实现，提出的技术发明中自适应KNN邻域的选择方法。 

从目前已有的参考文献来看，提出自适应邻域选择算法的文献很少，并且没有文献提 出通用于目前大多数流形算法的自适应邻域选择算法。因此，提高低维嵌入质量，同时一定程度上降低算法复杂度，找到一种简单有效且有一定普适性的自适应邻域选择算法具体现实意义。 

从流形假设出发，即高维数据点至少给分布在一个广义流形上，那么高维数据点的函数关系是存在的，并且是可微的。从这一假设出发，满足流形学习条件的数据集是可以计算或估计其数据点相应的曲率。通过阅读数学资料及文献，可以得出：在已知确定函数关系条件下，由微分几何可知，可能通过计算导数的方法来求出相应自变量取值处的斜率。斜率变化趋势就可以用来表示随着自变量的改变，因变量的变化情况。当处理多元函数的曲率问题时，可以应用黎曼微分几何的相关的知识来求解。但在求解高维数据对应的函数关系时有两个明显的问题：一是，对于高维数据，自变量与因变量的关系是不确定的，即无法确定哪些变量是自变量，哪些变量是因变量；二是在离散点条件下，准确的求解函数关系不可行的，最多只是采用某种算法来进行拟合，如此一来，那么就要假定数据点满足某种特定的函数关系，再来计算相应的系数。这两个明显的问题使得上述提出的理论计算方法变得不可以实现。 

综上所述，现有的领域选择算法应用于流形学习算法存在适应性差，低维嵌入质量差，算法复杂度较高的问题。 

发明内容

本发明的目的是为解决现有的领域选择算法应用于流形学习算法存在适应性差，低维嵌入质量差，算法复杂度较高的问题，进而提供一种基于曲率预测的流形学习自适应邻域选择算法。 

本发明为解决上述问题采取的技术方案是：本发明的基于曲率预测的流形学习自适应邻域选择算法的具体步骤为： 

步骤一、高维离散数据点的曲率计算，假定N_i＝{x_i1，x_i2，…，X_iN}为数据点x_i邻近的N个点，则Jacobi矩阵可以由下式预测： 

$x_i-J_{\mathrm{\τ}}\·(\widehat{\mathrm{\τ}}-\mathrm{\τ})={\stackrel{\‾}{x}}_i+Q_i{\mathrm{\θ}}_j^{\left(i\right)}---\left(1\right)$

其中： 

是N_i个点的中心，即为N_i个点坐标的平均值，其表达式为： 

Q_i是由矩阵 

前r个最大的奇异值分解的特征向量构成的矩阵； 是矩阵 

的奇异分解的特征向量中第j(1≤j≤N)点的特征向量，上角标 代表的是第i个点，下角标代表的是第i点的N邻近点中的第j点， 

代表的是点x_i邻近的一个小邻域，其中τ表示点x_i的函数变量， 

表示点x_i的邻域函数变量， 

由式(1)，可以得到： 

$\left|\right|J_{\mathrm{\τ}}\·(\widehat{\mathrm{\τ}}-\mathrm{\τ})\left|\right|=\left|\right|{\stackrel{\‾}{x}}_i-x_i+Q_i{\mathrm{\θ}}_j^{\left(i\right)}\left|\right|---\left(2\right)$

其中，‖‖表示对符号内表达式(或矩阵)求其相应的欧几里得距离， 

由式(2)可以推导出： 

$\left|\right|J_{\mathrm{\τ}}\left|\right|\·\left|\right|(\widehat{\mathrm{\τ}}-\mathrm{\τ})\left|\right|=\left|\right|{\stackrel{\‾}{x}}_i-x_i+Q_i{\mathrm{\θ}}_j^{\left(i\right)}\left|\right|---\left(3\right)$

由式(3)推导出： 

$\left|\right|J_{\mathrm{\τ}}\left|\right|=\frac{\left|\right|{\stackrel{\‾}{x}}_i-x_i+Q_i{\mathrm{\θ}}_j^{\left(i\right)}\left|\right|}{\left|\right|{\mathrm{\θ}}_j^{\left(i\right)}\left|\right|}---\left(4\right)$

由式(4)，可以得出Jacobi矩阵的下限值J_inf： 

$J_{\inf }=\frac{\left|\right|{\stackrel{\‾}{x}}_i-x_i\left|\right|+\left|\right|Q_i{\mathrm{\θ}}_j^{\left(i\right)}\left|\right|}{\left|\right|{\mathrm{\θ}}_j^{\left(i\right)}\left|\right|}---\left(5\right)$

其中下表inf代表的是相应变量的下界，即下限值，式(5)即为用来计算离散点的曲率的公式， 

上述公式(1)中的N值的确定如下： 

其中：D是高维数据的维数；d是嵌入的低维空间的维数； 

步骤二、自适应邻域选择，邻域选择的大小存在下限值与上限值，分别表示为K_inf、K_sup： 

$\left\{\begin{array}{c}{K}_{\inf }=d+1\\ K_{\sup }=6D\end{array}\right.---\left(7\right)$

其中，下标inf和sup分别代表的是相应变量的下限值和上限值，D是高维数据的维数，d是嵌入的低维空间的维数；在邻域选择的范围内，有下式的邻域选择准则： 

$K_i=K_o+\mathrm{int}\left[\frac{\left({\mathrm{\ΔJ}}_{\mathrm{\τ}}\right)}{{\mathrm{\δ}}_o}\right]---\left(8\right)$

其中：int[ ]表示对符号内表达式向下取整，K_i是数据点x_i的邻域大小；K_o是初始的邻域大小；ΔJ_τ是相邻数据点之前曲率的变化值；δ_o曲率变化步长，它的值与曲率变化的极差及数据点的分区数目有关， 

综合式(7)及式(8)，可以给出自适应邻域选择准则： 

$K_i=\left\{\begin{array}{c}{K}_{\inf },K_i<K_{\inf }\\ K_{\sup },K_i>K_{\sup }\\ K_i,K_i\&Element;[K_{\inf },K_{\sup }]\end{array}\right.---\left(9\right)$

K_o采用与式(6)的N相同的取值方式， 

通过上述分析，可以由式(9)计算各个数据点的自适应邻域大小。 

本发明的有益效果是：本发明能够广泛的应用到目前的流形学习算法，本发明能够根据数据集分布的不同曲率选择合适的领域大小，本发明以高维数据点的一个自适应邻域选择矩阵，能够有效地降低流形学习算法的复杂度和找到优化的邻域大小，实现最佳的低维嵌入，低维嵌入质量好。 

具体实施方式

具体实施方式一：本实施方式的基于曲率预测的流形学习自适应邻域选择算法的具体步骤为， 

步骤一、高维离散数据点的曲率计算，假定N_i＝{x_i1，x_i2，…，x_iN}为数据点x_i邻近的N个点，则Jacobi矩阵可以由下式预测： 

$x_i-J_{\mathrm{\&tau;}}\&CenterDot;(\widehat{\mathrm{\&tau;}}-\mathrm{\&tau;})={\stackrel{\&OverBar;}{x}}_i+Q_i{\mathrm{\&theta;}}_j^{\left(i\right)}---\left(1\right)$

其中： 

是N_i个点的中心，即为N_i个点坐标的平均值，其表达式为： Q_i是由矩阵 前r个最大的奇异值分解的特征向量构成的矩阵； 

是矩阵 的奇异分解的特征向量中第j(1≤j≤N)点的特征向量，上角标代表的是第i个点，下角标代表的是第i点的N邻近点中的第j点， 

代表的是点x_i邻近的一个小邻域，其中τ表示点x_i的函数变量， 

表示点x_i的邻域函数变量， 

由式(1)，可以得到： 

$\left|\right|J_{\mathrm{\&tau;}}\&CenterDot;(\widehat{\mathrm{\&tau;}}-\mathrm{\&tau;})\left|\right|=\left|\right|{\stackrel{\&OverBar;}{x}}_i-x_i+Q_i{\mathrm{\&theta;}}_j^{\left(i\right)}\left|\right|---\left(2\right)$

其中，‖‖表示对符号内表达式(或矩阵)求其相应的欧几里得距离， 

由式(2)可以推导出： 

$\left|\right|J_{\mathrm{\&tau;}}\left|\right|\&CenterDot;\left|\right|(\widehat{\mathrm{\&tau;}}-\mathrm{\&tau;})\left|\right|=\left|\right|{\stackrel{\&OverBar;}{x}}_i-x_i+Q_i{\mathrm{\&theta;}}_j^{\left(i\right)}\left|\right|---\left(3\right)$

由式(3)推导出： 

$\left|\right|J_{\mathrm{\&tau;}}\left|\right|=\frac{\left|\right|{\stackrel{\&OverBar;}{x}}_i-x_i+Q_i{\mathrm{\&theta;}}_j^{\left(i\right)}\left|\right|}{\left|\right|{\mathrm{\&theta;}}_j^{\left(i\right)}\left|\right|}---\left(4\right)$

由式(4)，可以得出Jacobi矩阵的下限值J_inf： 

$J_{\inf }=\frac{\left|\right|{\stackrel{\&OverBar;}{x}}_i-x_i\left|\right|+\left|\right|Q_i{\mathrm{\&theta;}}_j^{\left(i\right)}\left|\right|}{\left|\right|{\mathrm{\&theta;}}_j^{\left(i\right)}\left|\right|}---\left(5\right)$

其中下表inf代表的是相应变量的下界，即下限值，式(5)即为用来计算离散点的曲率的公式， 

上述公式(1)中的N值的确定如下： 

其中：D是高维数据的维数；d是嵌入的低维空间的维数； 

步骤二、自适应邻域选择，邻域选择的大小存在下限值与上限值，分别表示为K_inf、K_sup： 

$\left\{\begin{array}{c}{K}_{\inf }=d+1\\ K_{\sup }=6D\end{array}\right.---\left(7\right)$

其中，下标inf和sup分别代表的是相应变量的下限值和上限值，D是高维数据的维数，d是嵌入的低维空间的维数；在邻域选择的范围内，有下式的邻域选择准则： 

$K_i=K_o+\mathrm{int}\left[\frac{\left({\mathrm{\&Delta;J}}_{\mathrm{\&tau;}}\right)}{{\mathrm{\&delta;}}_o}\right]---\left(8\right)$

其中：int[ ]表示对符号内表达式向下取整，K_i是数据点x_i的邻域大小；K_o是初始的邻 域大小；ΔJ_τ是相邻数据点之前曲率的变化值；δ_o曲率变化步长，它的值与曲率变化的极差及数据点的分区数目有关， 

综合式(7)及式(8)，可以给出自适应邻域选择准则： 

$K_i=\left\{\begin{array}{c}{K}_{\inf },K_i<K_{\inf }\\ K_{\sup },K_i>K_{\sup }\\ K_i,K_i\&Element;[K_{\inf },K_{\sup }]\end{array}\right.---\left(9\right)$

K_o采用与式(6)的N相同的取值方式， 

通过上述分析，可以由式(9)计算各个数据点的自适应邻域大小。 

本实施方式的步骤一的公式(5)中有关于PCA算法实现的算法有较为成熟的结果，可以查阅相关资料。 

本实施方式的步骤二的公式(8)领域的选择中，在邻域选择的范围内，采用类似于增量调制的思想，若曲率增大，则采用较小的邻域，反之，可以增大邻域的选取。 

本实施方式算法实现时，涉及到海量数据的计算及相关的矩阵分析，优选采用有强大的矩阵计算功能的MatLab软件实现上述算法，通过上述算法可以高维数据点的一个自适应邻域选择矩阵。对于不同的数据点而言，邻域大小的取值不会全部相同。 

现有的流形学习算法全是基于某一定值的邻域选取方法来实现相应的流形学习算法。本发明通过与基于某一定值的邻域大小的流形学习算法的性能比较来实现对其算法性能的比较与分析。 

流形学习的“质量”，即降维结果的好坏，从统计学的概念出发，可采用剩余方差来衡量流形学习的“质量”。剩余方差的计算公式为： 

${\mathrm{\&xi;}}_{\mathrm{rvar}}=1-{\mathrm{\&rho;}}_{D_X,D_Y}^2---\left(10\right)$

式(10)中ξ_rvar表示剩余方差， 

表示D_X和D_Y之间的方差，其中D_X、D_Y均用矩阵表示。通常，剩余方差越小，则表明流形学习的“质量”越好。将本发明提出的自适应领域选择算法应用于同一流形学习算法并比较相应的剩余方差的值，由此可以比较流形学习的算法的性能。 

Claims (1)

1.基于曲率预测的流形学习自适应邻域选择算法，所述自适应邻域选择算法的具体步骤为：

步骤一、高维离散数据点的曲率计算，假定N_i＝{x_i1，x_i2，…，x_iN}为数据点x_i邻近的N个点，则Jacobi矩阵可以由下式预测：

其中： 

是N_i个点的中心，即为N_i个点坐标的平均值，其表达式为： 

Q_i是由矩阵 

前r个最大的奇异值分解的特征向量构成的矩阵； 

是矩阵 

的奇异分解的特征向量中第j(1≤j≤N)点的特征向量，上角标代表的是第i个点，下角标代表的是第i点的N邻近点中的第j点， 

代表的是点x_i邻近的一个小邻域，其中τ表示点x_i的函数变量， 表示点x_i的邻域函数变量，

由式(1)，可以得到：

其中，‖‖表示对符号内表达式(或矩阵)求其相应的欧几里得距离，

由式(2)可以推导出：

由式(3)推导出：

由式(4)，可以得出Jacobi矩阵的下限值J_inf：

其中下表inf代表的是相应变量的下界，即下限值，式(5)即为用来计算离散点的曲率 的公式，

上述公式(1)中的N值的确定如下：

其中：D是高维数据的维数；d是嵌入的低维空间的维数；

步骤二、自适应邻域选择，邻域选择的大小存在下限值与上限值，分别表示为K_inf、K_sup：

其中，下标inf和sup分别代表的是相应变量的下限值和上限值，D是高维数据的维数，d是嵌入的低维空间的维数；在邻域选择的范围内，有下式的邻域选择准则：

其中：int[ ]表示对符号内表达式向下取整，K_i是数据点x_i的邻域大小；K_o是初始的邻域大小；ΔJ_τ是相邻数据点之前曲率的变化值；δ_o曲率变化步长，它的值与曲率变化的极差及数据点的分区数目有关，

综合式(7)及式(8)，可以给出自适应邻域选择准则：

K_o采用与式(6)的N相同的取值方式，

通过上述分析，可以由式(9)计算各个数据点的自适应邻域大小。