CN106803124A - 基于流形正则和范数正则的领域迁移极限学习机方法 - Google Patents

Abstract

本发明公开了一种基于流形正则和范数正则的领域迁移极限学习机方法。在传统的极限学习机基础上，引入半监督学习和迁移学习的思想，构造了一种新的极限学习机模型，由3部分组成：能够挖掘有标签和无标签数据样本的几何分布形状实现半监督学习的流形正则项；同时考虑源领域数据和目标领域数据误差最小化以实现迁移学习的损失函数项；约束权值空间的范数正则子。本发明结合源领域来处理目标领域的预测问题，提高了极限学习机的泛化能力和应用范围。其中，流行正则项的引入也使得本发明提出的方法能够在带标签的数据较少时依然能够保持较好的学习效果，克服了传统机器学习方法需要大量有标签数据的限制，同时也提高了预测的准确性和鲁棒性。

Description

基于流形正则和范数正则的领域迁移极限学习机方法

技术领域

本发明涉及一种基于流形正则项和Lp范数正则子的领域迁移极限学习机算法，属于机器学习和模式识别技术领域。

背景技术

人工神经网络因其强大的自适应、自组织、自学习和非线性映射能力，已广泛应用于生物、化学、医学、经济、海洋等各种领域。但是传统的神经网络，如反向传播(BackPropagation，BP)网络，需要人为设置大量的网络训练参数，训练速度慢、很容易产生局部最优解。针对以上问题，Huang提出一种叫做极限学习机(Extreme Learning Machine，ELM)的单隐层前馈神经网络(Single-hidden Layer Feedforward Neural Networks,SLFNs)新算法。该算法的核心主要是两个部分：一是随机产生输入权重和隐层偏置，避免了迭代调节参数；二是将神经网络的训练问题变化成求解最小二乘的问题，产生唯一的最优解，避免了人工神经网络需要人为的调整参数和易于陷入局部最优解的缺陷。ELM算法因其简单易实现、学习速度快、泛化能力强等特点，近年来受到越来越多的关注。然而，传统ELM需要大量的有标签数据来训练分类器，要求训练数据和待识别目标具有相同的分布特性即不具备领域迁移能力等。而在现实生活中，给数据打上标签会耗费大量的人力、物力，而且待识别目标与训练数据不一定满足分布相同这一条件，例如AUV进行海底环境探索的实际过程中，受环境(光线，海水浊度，地质特点等)等因素影响，AUV在海底两个不同海域采集到的图像会存在数据偏移现象并且具有先验知识的(有标签数据)训练样本数据往往是少量的。

发明内容

本发明将半监督学习、迁移学习、极限学习机有机结合，提出了一种基于流形正则项和Lp范数正则子的领域迁移极限学习机算法，以弥补现有技术的不足。

为达到上述目的，本发明采取的具体技术方案为：

步骤1：设源领域数据为D_S＝{X_S}，其中源领域有标签数据T_S是相应的类别标签，源领域无标签数据目标领域数据为D_T＝{X_T}，其中目标领域有标签数据T_T是相应的类别标签，目标领域无标签数据把第i个数据样本表示成x_i＝[x_i1,x_i2,…,x_in]^T，n是每个数据的特征维度；

步骤2：随机产生极限学习机的隐层节点参数(a_i,b_i),i＝1,2,...,L，其中a_i＝[a_i1,a_i2,…,a_in]^T是连接第i个隐层节点和输入神经元的输入权重，n是输入神经元的个数，即等于数据的特征维度，b_i是第i个隐层节点的偏置，L是隐层节点个数；

步骤3：对于N个输入样本X＝{x₁,x₂,...,x_N}，计算相应的隐层输出矩阵：

其中表示激活函数；同样的地对X_S，X_T和分别计算它们相对应的隐层输出矩阵，分别用H_S，和H_T来表示；

步骤4：结合半监督学习、迁移学习，同时为使得结构风险最小化，构建出如下优化模型：

其中||β||_p是用来约束权值空间的范数正则子，取三种范数正则子：L₁范数||β||₁，L₂范数和包络范数其介于L₁范数和L₂范数之间；C_S，C_T，λ_S和λ_T都是惩罚参数，L_S和L_T分别是源领域数据和目标领域数据的拉普拉斯算子，表示矩阵的迹；

步骤5：设定上述步骤4中的4个惩罚参数；

步骤6：根据源领域所有数据X_S和目标领域所有数据X_T分别计算L_S和L_T；

步骤7：根据步骤4所述优化模型，求解最优的连接隐层节点和输出神经元的输出权值β，在此步骤中，不同的范数正则子采用不同的求解方式，具体如下：

7-1.当采用L₁范数||β||₁时，令

则

随机初始化输出权值β，然后使用前向后向分裂算法得：

其中k是迭代次数；

令U^k＝β^k-m▽F(β^k)，此时利用迭代软阈值收缩算法得：

7-2.当采用L₂范数时，利用拉格朗日乘子求解可得：

令中样本的个数为N_S，

当N_S＜L时，

当N_S＞L时，

7-3.当采用包络范数时，令

则

随机初始化输出权值β，然后利用前向后向分裂算法得：

k是迭代次数；

令U^k＝β^k-m▽F(β^k)，利用迭代软阈值收缩算法得：

步骤8：根据步骤7得到的三个不同输出权值β，相应形成三个不同的基于流形正则项和Lp范数正则子的领域迁移极限学习机模型，然后根据训练误差的大小取其中训练误差最小的一个模型并将其应用到后续新数据的预测问题中。

其中表示激活函数，主要包括sigmoid函数，sin函数，hardlim函数，radbas函数，tridbas函数等等。

另外，上述步骤4中的优化模型包含了：1.能够挖掘有标签和无标签数据样本的几何分布形状实现半监督学习的流形正则项，2.同时考虑源领域数据和目标领域数据误差最小化以实现迁移学习的损失函数项，3.约束权值空间的范数正则子

本发明的优点：本发明在传统的极限学习机基础上，引入半监督学习和迁移学习的思想，构造了一种新的极限学习机模型。该模型由3部分组成，包含：1.能够挖掘有标签和无标签数据样本的几何分布形状实现半监督学习的流形正则项，2.同时考虑源领域数据和目标领域数据误差最小化以实现迁移学习的损失函数项，3.约束权值空间的范数正则子。

另外，本发明提出了3种范数正则子来约束权值空间，L1范数正则子的主要作用是使权值具有稀疏性，使得模型排除冗余特征的干扰，实现特征筛选功能；L2范数正则子使得权值的每一个分量都很小，约束每一个特征分量对结果有一个合适的影响力度，这样不仅可以防止模型过拟合，也可以使得模型比较稳定，泛化能力较强。包络范数正则子的优点在与其可调整性，它是一个L1范数和L2范数之间的弹性网络，兼具L1范数和L2范数的优点；使得本发明提出的模型在经验风险最小化的同时也能够保持结构风险最小化；本方法分别对3种范数正则子情况进行了求解，进一步充实了极限学习机的理论框架，探索了不同范数正则子下模型的性能以便从其中确定一个最优预测效果下的模型，从而进一步有效的提升了本发明方法预测结果的精度和稳定性。

本发明结合源领域来处理目标领域的预测问题，如回归问题与分类问题，提高了极限学习机的泛化能力和应用范围。其中，流行正则项的引入也使得本发明提出的方法能够在带标签的数据较少时依然能够保持较好的学习效果，克服了传统机器学习方法需要大量有标签数据的限制，同时也提高了预测的准确性和鲁棒性。

附图说明

图1是本发明方法的流程图。

图2是本发明的极限学习机模型示意图。

具体实施方式

为更好地理解本发明，下面结合具体实施例对本发明做进一步地详细说明，但是以下描述仅作为示范和解释，并不对本发明作任何形式上的限制。

本实施例采用的数据来自UCI机器学习数据库。数据库包含一个电子鼻系统在一个输气平台采集到的6种气体连续36个月共13910个气体样本的数据资料。本实施例中每个样本提取一个128维的特征来表征。由于电子鼻系统的气体探测传感器随着时间的变化会有传感器漂移现象，因此采集到的这些气体数据在不同的时间段也会存在数据偏移现象。本发明方法的流程如图1所示。

步骤1：取第1,2个月445个气体样本数据作为无传感器漂移现象的源领域数据，记为D_S＝{X_S}，取其中100个样本作为无漂移的源领域有标签气体样本数据，记为T_S是相应的类别标签，其余样本作为无漂移的源领域无标签气体样本数据，记为取第3-10个月1244个气体样本数据作为存在传感器漂移现象的目标领域数据，记为D_T＝{X_T}，取其中200个样本作为有漂移的目标领域有标签气体样本数据，记为T_T是相应的类别标签，其余样本作为有漂移的目标领域无标签气体样本数据，记为把第i个气体样本表示成x_i＝[x_i1,x_i2,…,x_in]^T，n是每个气体样本数据的特征维度，在此n＝128；

步骤2：本发明的极限学习机模型如图2所示：事先设定好隐层节点个数L，利用随机函数随机产生隐层节点参数(a_i,b_i),i＝1,2,...,L，其中a_i＝[a_i1,a_i2,…,a_in]^T是连接第i个隐层节点和输入神经元的输入权重，n是输入神经元的个数(它等于气体样本的特征维度，即为128)，b_i是第i个隐层节点的偏置；

步骤3：对于N个输入的气体样本数据X＝{x₁,x₂,...,x_N}，计算其相应的隐层输出矩阵：

其中表示激活函数，本实施例采用sigmoid函数作为激励函数；对X_S，X_T和分别计算它们相对应的隐层输出矩阵，分别记为H_S，和H_T；

步骤4：结合半监督学习、迁移学习，我们引入流形正则项并同时考虑源领域和目标领域误差最小化，构建本发明方法的优化模型：

其中||β||_p是用来约束权值空间的范数正则子，我们在本发明中考虑了L₁范数||β||₁，L₂范数(为了方便求解，使用的是0.5倍的L₂范数平方的形式)和包络范数(介于L₁范数和L₂范数之间，)三种范数正则子；C_S，C_T，λ_S和λ_T都是惩罚参数，L_S和L_T分别是源领域数据和目标领域数据的拉普拉斯算子，表示矩阵的迹；

步骤5：设定上述步骤中的4个惩罚参数C_S，C_T，λ_S和λ_T；

步骤6：分别计算不存在漂移现象的源领域气体样本数据和存在漂移现象的目标领域气体样本数据的拉普拉斯矩阵L_S和L_T；

步骤7：根据步骤4所述优化模型，求解最优的连接隐层节点和输出神经元的输出权值β，不同的范数正则子本发明采用不同的求解方式，具体如下：

7-1.当采用L₁范数||β||₁时，令

则

随机初始化输出权值β，设置迭代终止条件，然后由前向后向分裂算法(FOBOS)得到模型迭代形式的解：k是迭代次数；

令U^k＝β^k-m▽F(β^k)，由迭代软阈值收缩算法(ISTA)得，

当满足迭代终止条件时，迭代停止，得到模型L₁范数下的输出权值；

7-2.当采用L₂范数时，模型可以写成：

N_S是中气体样本的个数，N_T是中气体样本的个数；分别表示无飘移的源领域第i个气体样本的隐层输出，类别标签(理想输出)，实际输出与理想输出之间的误差；同样，分别表示有漂移的目标领域第j个气体样本的隐层输出，类别标签(理想输出)，实际输出与理想输出之间的误差；

利用拉格朗日乘子，上述问题可以写成：

对上式求偏导：

当N_S＜L时，

令由上述方程式可得：

令

方程式可以简化为：

然后解得α_S,α_T：

解得模型L₂范数下的输出权值：

当N_S＞L时，

由偏导式方程可得：

解得模型L₂范数下的输出权值：

7-3.当采用包络范数时，令

则

随机初始化输出权值β，设置迭代终止条件，然后由前向后向分裂算法(FOBOS)得到模型迭代形式的解：

令U^k＝β^k-m▽F(β^k)，由迭代软阈值收缩算法(ISTA)得，

当满足迭代终止条件时，迭代停止，得到模型包络范数下的输出权值；

步骤8：根据步骤7得到的输出权值矩阵β，得到本发明的基于流形正则项和Lp范数正则子的领域迁移极限学习机模型f(x)并将此模型应用到电子鼻系统的气体识别中。

实验表明，本发明方法对电子鼻系统采集到的气体样本识别率可达98％，此结果远高于使用传统ELM方法的82％的识别率，从而证明了本方法的有效性。

以上所述，仅是本发明的实施例之一，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (3)

1.一种基于流形正则和范数正则的领域迁移极限学习机方法，其特征在于，包括以下步骤：

步骤1：设源领域数据为D_S＝{X_S}，其中源领域有标签数据T_S是相应的类别标签，源领域无标签数据目标领域数据为D_T＝{X_T}，其中目标领域有标签数据T_T是相应的类别标签，目标领域无标签数据把第i个数据样本表示成x_i＝[x_i1,x_i2,…,x_in]^T，n是每个数据的特征维度；

步骤2：随机产生极限学习机的隐层节点参数(a_i,b_i),i＝1,2,...,L，其中a_i＝[a_i1,a_i2,…,a_in]^T是连接第i个隐层节点和输入神经元的输入权重，n是输入神经元的个数，即等于数据的特征维度，b_i是第i个隐层节点的偏置，L是隐层节点个数；

步骤3：对于N个输入样本X＝{x₁,x₂,...,x_N}，计算相应的隐层输出矩阵：

其中表示激活函数；同样的地对X_S，X_T和分别计算它们相对应的隐层输出矩阵，分别用H_S，和H_T来表示；

步骤4：结合半监督学习、迁移学习，构建出如下优化模型：

其中||β||_p是用来约束权值空间的范数正则子，取三种范数正则子：L₁范数||β||₁，L₂范数和包络范数其介于L₁范数和L₂范数之间；C_S，C_T，λ_S和λ_T都是惩罚参数，L_S和L_T分别是源领域数据和目标领域数据的拉普拉斯算子，表示矩阵的迹；

步骤5：设定上述步骤4中的4个惩罚参数；

步骤6：根据源领域所有数据X_S和目标领域所有数据X_T分别计算L_S和L_T；

步骤7：根据步骤4所述优化模型，求解最优的连接隐层节点和输出神经元的输出权值β；

步骤8：根据步骤7得到的不同输出权值β，相应形成不同的基于流形正则项和Lp范数正则子的领域迁移极限学习机模型，然后根据训练误差的大小取其中训练误差最小的一个模型并将其应用到后续新数据的预测问题中。

2.根据权利要求1所述的领域迁移极限学习机算法，其特征在于，步骤3中的所述表示激活函数，包括sigmoid函数，sin函数，hardlim函数，radbas函数，tridbas函数。

3.根据权利要求1所述的领域迁移极限学习机算法，其特征在于，所述步骤7中，不同的范数正则子采用不同的求解方式，具体如下：

(1)当采用L₁范数||β||₁时，令

$F=\frac{C_S}{2}\left|\right|T_S-H_S\mathrm{\β}|{|}^2+\frac{C_T}{2}||T_T-H_T\mathrm{\β}|{|}^2+\frac{{\mathrm{\λ}}_S}{2}Tr\left({\mathrm{\β}}^T{{\tilde{H}}_S}^T{L}_S{\tilde{H}}_S\mathrm{\β}\right)+\frac{{\mathrm{\λ}}_T}{2}Tr\left({\mathrm{\β}}^T{{\tilde{H}}_T}^T{L}_T{\tilde{H}}_T\mathrm{\β}\right),$

则

随机初始化输出权值β，然后使用前向后向分裂算法得：

其中k是迭代次数；

令此时利用迭代软阈值收缩算法得：

(2)当采用L₂范数时，利用拉格朗日乘子求解可得：

令中样本的个数为N_S，

$H_T{(I+K)}^{-1}{H}_S^T=A,H_T{(I+K)}^{-1}{H}_T^T+I/C_T=B,$

$H_S{(I+K)}^{-1}{H}_T^T=E,H_S{(I+K)}^{-1}{H}_S^T+I/C_S=D,$

当N_S＜L时，

当N_S＞L时，

$\mathrm{\β}={(I+K+C_S{H}_S^T{H}_S+C_T{H}_T^T{H}_T)}^{-1}(C_S{H}_S^T{T}_S+C_T{H}_T^T{T}_T)$

(3)当采用包络范数时，令

$F=\frac{C_S}{2}\left|\right|T_S-H_S\mathrm{\β}|{|}^2+\frac{C_T}{2}||T_T-H_T\mathrm{\β}|{|}^2+\frac{{\mathrm{\λ}}_S}{2}Tr\left({\mathrm{\β}}^T{{\tilde{H}}_S}^T{L}_S{\tilde{H}}_S\mathrm{\β}\right)+\frac{{\mathrm{\λ}}_T}{2}Tr\left({\mathrm{\β}}^T{{\tilde{H}}_T}^T{L}_T{\tilde{H}}_T\mathrm{\β}\right),$

则

随机初始化输出权值β，然后利用前向后向分裂算法得：

k是迭代次数；

令利用迭代软阈值收缩算法得：