CN103838974A - 一种基于elm与图正则化的数据表示方法 - Google Patents

Abstract

本发明公开了一种基于ELM与图正则化的数据表示方法，包括计算原始数据集的最近邻图，用ELM特征投影将D维原始数据集转换成L维原始数据集，生成初始化非负矩阵，对于每个i，j进行迭代更新，直到收敛即err＜ε，或者，或达到最大迭代次数Max。本发明中的GNMF通过植入一个几何正则化矩阵，可以发掘数据空间中的固有几何性质和识别数据空间中的结构，它比原始NMF方法更强大，同时将ELM特征映射和GNMF相结合的方法能在获得效率的同时，保持泛化性能，在处理高维数据时，EFM GNMF的效率比直接使用NMF或GNMF更高。与EFM NMF效率没有保持泛化性能不同，EFM GNMF可以达到类似GNMF的结果。

Description

一种基于ELM与图正则化的数据表示方法

【技术领域】

本发明涉及数据表示方法的技术领域，特别是基于ELM与图正则化的数据表示方法的技术领域。

【背景技术】

非负矩阵分解(NMF)是一个功能强大的数据表示方法，已应用于许多应用程序集群等。然而这一过程NMF需要巨大的计算成本，特别是当数据的维度大。因此一个以ELM特征映射为基础的NMF被提出，NMF与极限学习机(ELM)特征映射结合，可以减少NMF的计算。然而，基于随机参数生成的ELM特征映射是非线性映射，这将降低无约束NMF所生成的子空间的数据能力表示。为了解决这个问题问题，我们提出一个新方法EFM GNMF结合榆树特性与图映射正规化的非负矩阵分解(GNMF)。

【发明内容】

本发明的目的就是解决现有技术中的问题，提出一种基于ELM与图正则化的数据表示方法，可以发掘数据空间中的固有几何性质和识别数据空间中的结构，它比原始NMF方法更强大，同时将ELM特征映射和GNMF相结合的方法能在获得效率的同时，保持泛化性能。

为实现上述目的，本发明提出了一种基于ELM与图正则化的数据表示方法，依次包括以下步骤：

a）计算原始数据集的最近邻图，即权重矩阵W；

b）用ELM特征投影h(x)=[h₁(x)，…，h_i(x)，…，h_L(x)]^T将原始数据集投影到ELM特征空间，将D维原始数据集转换成L维原始数据集，

X表示D维原始数据集，H表示L维原始数据集，M表示数据集中样本的个数；

c）生成初始化非负矩阵

和

d）用G作为ELM特征空间数据的最近邻图权重矩阵，P是一个对角矩阵，它的元素是G行向量的和，即P_jj＝Σ_lG_jl；

e）对于每个i，j进行迭代更新，直到收敛即err＜ε，或者，或达到最大迭代次数Max：

e1 $U_{\mathrm{ij}}^{t+1}\←U_{\mathrm{ij}}^t\frac{{\left({\mathrm{HV}}^T\right)}_{\mathrm{ij}}}{{\left(U^t{\mathrm{VV}}^T\right)}_{\mathrm{ij}}};$

e2） $V_{\mathrm{ij}}^{t+1}\text{\←}{V}_{\mathrm{ij}}^t\frac{{(H^{T}U+{\mathrm{\λGV}}^T)}_{\mathrm{ij}}}{{({\left(U^T{\mathrm{UV}}^t\right)}^T+{\mathrm{\λPV}}^T)}_{\mathrm{ij}}};$

e3） $\mathrm{err}\←\max \{\frac{\left|\right|U^{t+1}-U^t\left|\right|}{\sqrt{\mathrm{LK}}},\frac{\left|\right|v^{t+1}-v^t\left|\right|}{\sqrt{\mathrm{KM}}}\};$

所述λ表示正则化参数，λ≥0，K表示数据集矩阵分解后的维数，ε表示阀值，ε＞0。

作为优选，步骤a）中的原始数据集假设有M个样本(x_i，t_i)，x_i=[x_i1，x_i2，...x_id]^T∈R^d，ti=[t_i1，t_i2，...，t_iK]^T∈R^K，标准SLFNs拥有L个隐藏节点，h(x)为激活函数，则原始数据集的数学模型可以表示为： ${\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i\left(x_j\right)={\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i(w_i\·x_j+b_i),$ 其中j=1，2……M,w_i=[w_i1，w_i2，...，w_id]^T，是第i个隐藏节点和输入节点间的权重向量,β_i=[β_i1，...，β_iK]^T是输出节点域第i个隐藏节点间的权重向量，b_i是第i个隐藏节点的阈值。

作为优选，所述步骤b）中ELM特征映射可以描述为：h(x_i)=[h₁(x_i)，…，h_i(x_i)，…，h_L(x_i)]^T

=[G(a₁，b₁，x_i)，…G(a_i，b_i，x_i)，…，G(a_L，b_L，x_i)]^T，其中G(a_i，b_i，x_i)是第i个隐藏节点的输出。

作为优选，所述参数

可以用任意连续分布概率随机生成，并且不需要进行修剪。

作为优选，所述原始数据集中的隐藏层节点数小于原始数据集的样本数量。

本发明的有益效果：本发明中的GNMF通过植入一个几何正则化矩阵，可以发掘数据空间中的固有几何性质和识别数据空间中的结构，它比原始NMF方法更强大，同时将ELM特征映射和GNMF相结合的方法能在获得效率的同时，保持泛化性能，在处理高维数据时，EFM GNMF的效率比直接使用NMF或GNMF更高。与EFM NMF效率没有保持泛化性能不同，EFM GNMF可以达到类似GNMF的结果。此外，ELM特征映射可以近似保持隐藏在原始数据中的几何结构。

【具体实施方式】

本发明一种基于ELM与图正则化的数据表示方法，依次包括以下步骤：

a）计算原始数据集的最近邻图，即权重矩阵W；

b）用ELM特征投影h(x)=[h₁(x)，…，h_i(x)，…，h_L(x)]^T将原始数据集投影到ELM特征空间，将D维原始数据集转换成L维原始数据集，X表示D维原始数据集，H表示L维原始数据集，M表示数据集中样本的个数；

c）生成初始化非负矩阵

和

d）用G作为ELM特征空间数据的最近邻图权重矩阵，P是一个对角矩阵，它的元素是G行向量的和，即P_jj＝Σ_lG_jl；

e）对于每个i，j进行迭代更新，直到收敛即err＜ε，或者，或达到最大迭代次数Max：

e1） $U_{\mathrm{ij}}^{t+1}\←U_{\mathrm{ij}}^t\frac{{\left({\mathrm{HV}}^T\right)}_{\mathrm{ij}}}{{\left(U^t{\mathrm{VV}}^T\right)}_{\mathrm{ij}}};$

e2） $V_{\mathrm{ij}}^{t+1}\text{\←}{V}_{\mathrm{ij}}^t\frac{{(H^{T}U+{\mathrm{\λGV}}^T)}_{\mathrm{ij}}}{{({\left(U^T{\mathrm{UV}}^t\right)}^T+{\mathrm{\λPV}}^T)}_{\mathrm{ij}}};$

e3） $\mathrm{err}\←\max \{\frac{\left|\right|U^{t+1}-U^t\left|\right|}{\sqrt{\mathrm{LK}}},\frac{\left|\right|v^{t+1}-v^t\left|\right|}{\sqrt{\mathrm{KM}}}\};$

所述λ表示正则化参数，λ≥0，K表示数据集矩阵分解后的维数，ε表示阀值，ε＞0，所述步骤a）中的原始数据集假设有M个样本(x_i，t_i)，x_i=[x_i1，x_i2，...x_id]^T∈R^d，t_i=[t_i1，t_i2，...，t_iK]^T∈R^K，标准SLFNs拥有L个隐藏节点，h(x)为激活函数，则原始数据集的数学模型可以表示为： ${\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i\left(x_j\right)={\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i(w_i\·x_j+b_i),$ 其中j=1,2……M,w_i=[w_i1，w_i2，...，w_id]^T,是第i个隐藏节点和输入节点间的权重向量,β_i=[β_i1，...，β_iK]^T是输出节点域第i个隐藏节点间的权重向量，b_i是第i个隐藏节点的阈值，所述步骤b）中ELM特征映射可以描述为：h(x_i)=[h₁(x_i)，...，h_i(x_i)，...，h_L(x_i)]^T

=[G(a₁，a₁，b₁，x_i)，…G(a_i，b_i，x_i)，…，G(a_L，_bL，x_i)]^T，其中G(a_i，b_i，x_i)是第i个隐藏节点的输出，所述参数

可以用任意连续分布概率随机生成，并且不需要进行修剪，所述原始数据集中的隐藏层节点数小于原始数据集的样本数量。

本发明中的GNMF通过植入一个几何正则化矩阵，可以发掘数据空间中的固有几何性质和识别数据空间中的结构，它比原始NMF方法更强大，同时将ELM特征映射和GNMF相结合的方法能在获得效率的同时，保持泛化性能，在处理高维数据时，EFM GNMF的效率比直接使用NMF或GNMF更高。与EFMNMF效率没有保持泛化性能不同，EFM GNMF可以达到类似GNMF的结果。此外，ELM特征映射可以近似保持隐藏在原始数据中的几何结构。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (5)

1.一种基于ELM与图正则化的数据表示方法，其特征在于：依次包括以下步骤：

a）计算原始数据集的最近邻图，即权重矩阵W；

b）用ELM特征投影h(x)＝[h₁(x)，…，h_i(x)，…，h_L(x)]^T将原始数据集投影到ELM特征空间，将D维原始数据集转换成L维原始数据集，

X表示D维原始数据集，H表示L维原始数据集，M表示数据集中样本的个数；

c）生成初始化非负矩阵

和

d）用G作为ELM特征空间数据的最近邻图权重矩阵，P是一个对角矩阵，P的元素是G行向量的和，即P_jj＝Σ_lG_jl；

e）对于每个i，j进行迭代更新，直到收敛即err＜ε，或达到最大迭代次数Max：

e1） $U_{\mathrm{ij}}^{t+1}\←U_{\mathrm{ij}}^t\frac{{\left({\mathrm{HV}}^T\right)}_{\mathrm{ij}}}{{\left(U^t{\mathrm{VV}}^T\right)}_{\mathrm{ij}}};$

e2） $V_{\mathrm{ij}}^{t+1}\text{\←}{V}_{\mathrm{ij}}^t\frac{{(H^{T}U+{\mathrm{\λGV}}^T)}_{\mathrm{ij}}}{{({\left(U^T{\mathrm{UV}}^t\right)}^T+{\mathrm{\λPV}}^T)}_{\mathrm{ij}}};$

e3） $\mathrm{err}\←\max \{\frac{\left|\right|U^{t+1}-U^t\left|\right|}{\sqrt{\mathrm{LK}}},\frac{\left|\right|v^{t+1}-v^t\left|\right|}{\sqrt{\mathrm{KM}}}\};$

所述λ表示正则化参数，λ≥0，K表示数据集矩阵分解后的维数，ε表示阀值，ε＞0。

2.如权利要求1所述的一种基于ELM与图正则化的数据表示方法，其特征在于：所述步骤a）中的原始数据集假设有M个样本(x_i，t_i)，x_i＝[x_i1，x_i2，...，x_id]^T∈R^d，t_i＝[t_i1，t_i2，...，t_iK]^T∈R^K，标准SLFNs拥有L个隐藏节点，h(x)为激活函数，则原始数据集的数学模型可以表示为： ${\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i\left(x_j\right)={\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i(w_i\·x_j+b_i),$ 其中j=1,2……M,w_i＝[w_i1，w_i2，...，w_id]^T,是第i个隐藏节点和输入节点间的权重向量,β_i=[β_i1，...，β_iK]^T是输出节点域第i个隐藏节点间的权重向量，b_i是第i个隐藏节点的阈值。

3.如权利要求1所述的一种基于ELM与图正则化的数据表示方法，其特征在于：所述步骤b）中ELM特征映射可以描述为：h(x_i)＝[h₁(x_i)，…，h_i(x_i)，…，h_L(x_i)]^T

=[G(a₁，b₁，x_i)，…G(a_i，b_i，x_i)，…，G(a_L，b_L，x_i)]^T，其中G(a_i，b_i，x_i)是第i个隐藏节点的输出。

4.如权利要求3所述的一种基于ELM与图正则化的数据表示方法，其特征在于：所述参数可以用任意连续分布概率随机生成，并且不需要进行修剪。

5.如权利要求1至4中任一项所述的一种基于ELM与图正则化的数据表示方法，其特征在于：所述原始数据集中的隐藏层节点数小于原始数据集的样本数量。