CN109492766A

CN109492766A - 一种基于最小p范数的宽度学习方法

Info

Publication number: CN109492766A
Application number: CN201811319897.9A
Authority: CN
Inventors: 陈霸东; 郑云飞; 王飞; 杜少毅; 任鹏举
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2018-11-07
Filing date: 2018-11-07
Publication date: 2019-03-19

Abstract

本发明公开了一种基于最小P范数的宽度学习方法，包括：步骤1：获得训练输入数据与训练输出数据；步骤2：采用与宽度学习系统相同的方式，通过随机产生的权值和偏置生成隐层节点输出矩阵；步骤3：将误差的P范数作为代价函数并结合固定点迭代策略求解输出权；步骤4：利用训练好的模型参数，估计测试输入对应的输出。由于BLS在复杂噪声或者异常干扰存在的情况下无法有效地完成回归及分类任务，本发明提出了一种基于最小P范数的宽度学习方法。该方法利用误差的P范数能够很好地应对不同的噪声干扰这一特性，使得其在复杂噪声或者异常干扰存在的情况下仍然能够顺利地完成回归及分类任务，具有重要的研究意义和广泛的应用价值。

Description

一种基于最小P范数的宽度学习方法

【技术领域】

本发明涉及一种基于最小P范数的宽度学习方法。

【背景技术】

深度神经网络学习模型已经被成功应用于诸多回归及分类问题的建模上。典型的深度神经网络学习模型包括深度玻尔兹曼机(Deep Boltzmann Machines，DBM)、深度置信网络(Deep Belief Networks，DBN)、卷积神经网络(Convolutional neural Networks，CNN)等。为了有效的建立网络模型，这些深度学习办法需要不断调整神经网络的层数以及每层网络所需要的节点数，然后采取迭代的方式确定各个层与层之间的连接权。在数据量十分庞大的时候，这种调整是十分耗时的，从而给实际应用带来了困难。

为了解决这一难题，澳门大学陈俊龙等在随机矢量功能连接神经网络(RandomVector Functional Link Neural Network,RVFLNN)的基础上提出了一种宽度学习方法，并将其命名为宽度学习系统(Broad Learning System,BLS)。从提出到现在不足两年的时间里，BLS已经在在手写字体识别和人脸识别等实际任务中表现出了逼近深度神经网络学习模型的识别能力。BLS的设计思路为：首先，将原始的输入数据经过一系列的随机映射，形成“特征节点”矩阵；然后，在“特征节点”矩阵的基础上，经过一系列的随机增强变换，形成“增强节点”矩阵；最后，所有的“特征节点”矩阵和“增强节点”矩阵被送入到输出端，并借助于伪逆求出隐层与输出层之间的连接权。由于BLS在生成“特征节点”矩阵和“增强节点”矩阵的过程中，所有的隐层连接权都是随机产生的，并且一直保持不变，最终只需要求出隐层与输出层之间的连接权即可，这给整个训练过程带来了极大的便利。

值得注意的是：BLS在求解隐层与输出层之间的连接权的过程中，默认以最小化误差的二阶统计特性为目标。由于最小化误差的二阶统计特性难以有效地消除非高斯噪声或者异常值所带来的负面影响，BLS在受到复杂噪声或者异常干扰的情况下学习能力也会大打折扣，以至于无法有效地完成回归及分类任务。因此，寻找到一种更为可靠且有效的输出权求解方式是十分必要的。

【发明内容】

针对上述问题，本发明提供了一种基于最小P范数的宽度学习方法。该方法以BLS为基础，将误差的P范数作为代价函数求解它的输出权，利用误差的P范数能够很好地应对不同的噪声干扰这一特性，使得其在复杂噪声或者异常干扰存在的情况下也能有效地完成回归及分类任务。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于最小P范数的宽度学习方法，包括以下步骤：

步骤1：获得训练输入数据与训练输出数据其中N表示数据样本的数目，M和C分别表示每个输入矢量与输出矢量对应的维度；

步骤2：采用与宽度学习系统相同的方式，将X送入含有L个隐层节点的单隐层神经网络，通过随机产生的权值和偏置生成隐层节点输出矩阵

步骤3：将误差的P范数作为代价函数并结合固定点迭代策略求解输出权

步骤4：利用训练好的模型参数，包括：训练过程随机产生的权值和偏置以及输出权W，估计测试输入对应的输出。

本发明进一步的改进在于：

步骤2中，生成隐层节点输出矩阵的过程为：

步骤2-1：采用k组随机产生的权值和偏置通过变换i＝1,2,…,k来构造“特征节点”矩阵其中φ_i是一个线性变换，q表示每组特征映射所对应的“特征节点”数目；

步骤2-2：采用m组随机产生的权值和偏置通过变换j＝1,2,…,m来构造“增强节点”矩阵其中ξ_j是一个双曲正切激活函数，r表示每组增强变换所对应的“增强节点”数目；

步骤2-3：将“特征节点”矩阵和“增强节点”矩阵拼接成一个整体体，得到隐层节点输出矩阵其中L＝kq+mr。

步骤3中，输出权的求解分两种情况进行：

当C＝1时，通过最小化由误差的P范数构成的代价函数：得到单独的一个权矢量其中为系统对第n个样本的估计误差，ρ为一个很小的常数，是一个与w有关的对角阵；

当C＞1时，直接利用上述结果得到相应的输出连接权矩阵其中c＝1,2,…,C。

步骤3中，采用固定点迭代策略寻找隐式方程w＝g(w)解的迭代的核心过程为w(t)＝g(w(t-1))，其中g(w)表示一个与w有关的函数，w(t)表示第t个迭代时刻得到的w的值。

与现有技术相比，本发明具有以下有益效果：

由于BLS在复杂噪声或者异常干扰存在的情况下无法有效地完成回归及分类任务，本发明提出了一种基于最小P范数的宽度学习方法。该方法利用误差的P范数能够很好地应对不同的噪声干扰这一特性，使得其在复杂噪声或者异常干扰存在的情况下仍然能够顺利地完成回归及分类任务，具有重要的研究意义和广泛的应用价值。

【附图说明】

图1是BLS的基本结构示意图。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明基于最小P范数的宽度学习方法是在BLS的基础上建立的。图1给出了BLS的基本结构示意图，其中为N个M维的输入矢量组成的输入数据矩阵，为相应的输出数据矩阵，Z₁,Z₂,…,Z_k为“特征节点”矩阵，H₁,H₂,…,H_m为“增强节点”矩阵，W为隐层和输出层之间的连接权矩阵。它们之间的相互联系如下：

首先，X经过k组特征映射，形成k组“特征节点”矩阵Z₁,Z₂,…,Z_k，即

其中φ_i通常被默认为是一个线性变换；q表示每组特征映射所对应的特征节点数目；和分别为随机产生的权值矩阵和偏置矩阵。将所有的“特征节点”矩阵拼接成一个整体，得到总的“特征节点”矩阵为

进一步，Z^k经过m组增强变换，形成m组“增强节点”矩阵H₁,H₂,…,H_m，表示为

其中r表示每组增强变换所对应的“增强节点”数目；和也是随机产生的权值和偏置。值得注意的是这里的ξ_j是一个非线性激活函数，默认将其设置为双曲正切函数：ξ_j(x)＝tanh(x)。将所有的“增强节点”矩阵拼接成一个整体，得到总的“增强节点”矩阵为

所有的“特征节点”矩阵和“增强节点”矩阵共同构成隐层节点输出

其中L＝kq+mr。系统的最终估计输出为

其中表示输出矩阵的估计值。因为所有的和在随机产生后保持不变，目标就变成了找到一个合适的W使得与Y之间的差异性尽可能的小。不同于存在的BLS，这里采用P范数作为代价函数求解输出权W。

当C＝1时，输出为一个N×1维的矢量，表示为y；同时，待求解的权为一个L×1维的矢量，表示为w。采用误差的P范数作为代价函数，即

其中P≥1表示误差的阶数，为第n个估计误差，为变换后的输入矩阵中的第n个行矢量，为输出矢量y中的第n个元素。

可以得到

其中ρ＝Nλ/P，

当C＞1时，系统输出Y为一个N×C维的矩阵，相应的待求解权W为一个L×C维的矩阵。根据矩阵分块原理，将Y和W表示成如下的分块矩阵形式

其中y₁,y₂,…,y_C为C个维度为N×1的列矢量，w₁,w₂,…,w_C为C个维度为L×1的列矢量。利用公式(6)中的结果，可以得到

将公式(9)带入(8，便得到了输出权W的最终表达式。

由于公式公式(6)和公式(9)在P≠2的时候是一个关于w或w_c的隐式方程，这里采用固定点迭代策略来发现它们的真实解。以公式(6)为例，令

则固定点迭代的核心迭代过程可以表示为

w(t)＝g(w(t-1)) (10)

其中w(t)表示第t个迭代时刻得到的输出权的解。在实际操作中，随机给定一个初始化的权矢量并设定一个最大迭代次数上限值(比如30)从而达到开启与终止迭代过程的目的。

基于以及输出权W，判断新的测试输入所属的类别或对应的期望输出。为了方便表示将提出的基于最小P范数的宽度学习方法简写为LP-BLS。

应用实例1

为了展现本发明的优势之处，同时将BLS和LP-BLS用于“sinc”函数近似任务，该函数被定义为

其中x的取值服从[-10,10]上的均匀分布。借助于公式(11)产生500个训练样本和500个测试样本，并在训练样本的输出上加入不同的噪声干扰，包括：1)均值为0，方差为0.01的高斯噪声；2)分布在区间[-0.4,0.4]上的均匀噪声；3)脉冲噪声。这里的脉冲噪声由η_iB_i产生，其中η_i为一个成功率为P(η_i＝1)＝0.03的伯努利过程；B_i的取值服从均值为0，方差为100δ_y ²的高斯分布(δ_y ²为训练样本输出对应的方差)。

为了便于比较，定义测试均方根误差(Testing Root Mean Square Error,TRMSE)为其中N_te＝500为测试样本的数目，和y(n)分别为第n个测试样本的估计输出与期望输出。在隐层节点的构建方面，仅采用一组增强变换，即m＝1；同时，“网格搜索法”被用来来确定k(特征映射组的数目)、q(每组特征映射对应的特征节点数目)、r(增强变换对应的特征节点数目)的最佳组合。它们的搜索范围分别为1:1:10，1:1:10，和1:2:100。此外，所有算法的正则化参数均被固定为2^-30。

表1

表1给出了不同噪声干扰环境下，BLS和LP-BLS的TRMSE及相关参数设置。可以看到：通过选择P＝2，P＝2.5与P＝1.5，LP-BLS在高斯、均匀、以及脉冲噪声干扰环境下总能达到一个很小TRMSE。但是对于BLS而言，其在脉冲噪声干扰环境下，性能出现严重退化。这是由于在BLS中，默认P的取值为2，使得其难以有效地消除异常干扰所带来的负面影响，因而在脉冲噪声干扰环境下造成较大的拟合误差。

应用实例2

本例中，将LP-BLS应用于脑电图(Electroencephalograph，EEG)分类。实验数据采用第三届国际脑机接口竞赛的IVa公开数据集。它包含从5个健康被试所测得的EEG数据。每个被试都要执行280次运动想象任务，包括右手运动想象任务(类一)和右脚运动想象任务(类二)。在他(她)执行运动想象任务的过程中，带有118个电极的脑电帽被用来采集他(她)的脑电信号。采集到的脑电信号分为两组，一组用于训练，另外一组作为测试。具体到每个被试“aa”，“al”，“av”，“aw”与“ay”，他们对应的训练试验次数分别为168，224，84，56和28。同时，他们对应的测试试验次数分别为112，56，196，224和252。为了去除与运动想象无关的数据片段，对于每个训练或者测试试验数据，选择性地截取在每个指令下达后的0.5s-2.5s数据片段作为有效样本。这些样本会通过一个起止频率为8Hz与30Hz的5阶阶巴特沃斯带通滤波器进行滤波处理。在此基础上，共空间模式(Common Spatial Space,CSP)被用来提取这些样本的有效特征。最终，6个空域滤波器被用来构造的特征向量。这些得到的特征向量与相应的标签将被用来训练分类器并测试分类器的分类性能。

除了LP-BLS与原始的BLS，线性判别式分析(Linear Discriminant Analysis,LDA)、k-最近邻(k-NearestNeighbor,kNN)、支持向量机(Support Vector Machine,SVM)、超限学习机(Extreme Learning Machine,ELM)也将用来执行第三届国际脑机接口竞赛IVa公开数据集上的分类任务。这些算法中，KNN与SVM直接调用了MATLAB自带的工具箱。为了有效地选择相应算法的参数，这里采用“五折-交叉验证法”来确定它们的最佳参数配置。具体如下：对于原始的BLS和LP-BLS,正则化参数设置为2^-30，网络节点参数的搜索范围为1:1:10，1:1:10和1:2:100，同时LP-BLS中P的取值在{1.5,2.0,2.5,3.0,4.0}中选取；对于ELM，正则化参数设置为2^-30，节点参数的搜索范围为1:2:300；对于kNN，k的搜索范围为1:1:20；对于SVM,选用“高斯核”函数，核参数的取值在{2^-7,2^-6,…,2⁶,2⁷}中选取。

表2给出了不同算法在第三届国际脑机接口竞赛公开数据集IVa上取得的最佳分类精度。表中每个被试对应的分类精度都是在10个蒙特卡洛运行的基础上求平均得到的。可以看到：LP-BLS在除了“aa”和“ay”以外的其它3个被试上都能取得最高的分类精度，且LP-BLS在5个被试上取得的平均分类精度也是最高的。对于BLS，虽然其整体上表现出了比经典的LDA、kNN、SVM、ELM更强的分类能力，但是它的分类精度依然低于LP-BLS。

表2

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims

1.一种基于最小P范数的宽度学习方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于最小P范数的宽度学习方法，其特征在于，步骤2中，生成隐层节点输出矩阵的过程为：

步骤2-1：采用k组随机产生的权值和偏置通过变换来构造“特征节点”矩阵其中φ_i是一个线性变换，q表示每组特征映射所对应的“特征节点”数目；

步骤2-2：采用m组随机产生的权值和偏置通过变换来构造“增强节点”矩阵其中ξ_j是一个双曲正切激活函数，r表示每组增强变换所对应的“增强节点”数目；

3.根据权利要求1所述的基于最小P范数的宽度学习方法，其特征在于，步骤3中，输出权的求解分两种情况进行：

当C＞1时，直接利用上述结果得到相应的输出连接权矩阵其中

4.根据权利要求1所述的基于最小P范数的宽度学习方法，其特征在于，步骤3中，采用固定点迭代策略寻找隐式方程w＝g(w)解的迭代的核心过程为w(t)＝g(w(t-1))，其中g(w)表示一个与w有关的函数，w(t)表示第t个迭代时刻得到的w的值。