CN104598925A - 一种基于ELM的多类Adaboost集成学习方法 - Google Patents

Abstract

本发明公开了一种基于ELM的多类Adaboost集成学习方法，具体包括以下几个步骤：ELM方法、多类Adaboost方法、LBP方法，此外还通过使用PCA方法来局部替换做测试。本发明将ELM方法作为基础分类器，由于其运算简便快速以及良好的性能，与现有的经典方法相比，本申请的方法可以直接应用于多分类问题。通过人脸数据集的对比实验，实验结果表明，本方法可以使预测的分类结果更加稳定，还具有良好的泛化性能。

Description

一种基于ELM的多类Adaboost集成学习方法

【技术领域】

本发明涉及集成学习技术领域，特别是一种基于ELM的多类Adaboost集成学习方法的技术领域。

【背景技术】

针对前馈神经网络，许多研究已表明，人工神经网络不仅具有较好的非线性逼近能力，也可以应用于一些自然和人为的问题作为基本模型。而这些往往是其他经典方法力所不及的。近年来有人提出了一种新的基于多隐层的前馈神经网络的简单方法，称为极限学习机。该方法无需梯度下降的迭代调整，而只需随机设定输入层权值和隐含层前馈神经元阈值，直接利用广义逆快速求解。相比传统的神经网络方法理论简单，大大提高了学习速度，泛化能力强，收敛速度快，精确度高，稳定性好。

【发明内容】

本发明的目的就是解决现有技术中的问题，提出了一种基于ELM的多类Adaboost集成学习方法，可以直接应用于多分类的问题，本方法可以使预测的分类结果更加稳定，还具有良好的泛化性能。

为实现上述目的，本发明提出的方法主要包括以下几个步骤：

a)ELM方法：对于N个任样本(x_i,t_i)，x_i＝[x_i1,x_i2,…,x_id]^T∈R^d，t_i＝[t_i1,t_i2,…,t_iK]^T∈R^K，带L个隐层节点且激活函数为h(x)的标准单隐藏层前馈神经网络的数学模型为： ${\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i\left(x_j\right)={\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i(w_i\·x_j+b_i)=o_j;$

其中j＝1,2,…,N，w_i＝[w_i1,w_i2,…,w_id]^T表示连接第i个隐层节点和输入节点的权重向量，而β_i＝[β_i1,…,β_iK]^T则表示连接第i个隐藏节点和输出节点的权重向量，o_j＝[o_j1,o_j2,…o_jK]^T表示该单隐藏层前馈神经网络的第i个输出向量，b_i则是第i个隐藏节点的阈值，(·)则表示两个向量的内积，隐层节点数为L的单隐层前馈神经网络的激活函数h(x)可以简写表示为Hβ＝T；

b)主成分分析方法：

PCA方法的主要过程如下：

(b1)计算数据矩阵X的协方差矩阵V；

(b2)通过公式|V-λΕ|＝0计算矩阵V的特征值λ，其中λ₁≥λ₂≥…≥λ_p；

(b3)通过(V-λΕ)β＝0计算相应的特征向量，其中β为β₁,β₂,…,β_p；

(b4)算出最后的主成分矩阵Y_r＝β′_rX(r＝1,2,…,p)；

其中E是一个单位矩阵，E的维度同矩阵V，矩阵Y由n行向量组成，每一个向量是矩阵X特征值所对应的特征向量；

c)多类Adaboost方法：预先定义函数I(x)为：

首先给定训练数据{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)},其中x_i∈R^d表示维度为d的第i个输入特征向量，相对的y_i则表示第i个特征向量所属的类别标签，这里令y_i∈{-1,+1}分为两类，通过使用T_j(x)函数来表示第i个若分类器，同时假定一共含有M个若分类器，执行以下步骤：

(c1)初始化每个节点的观测权值ω_i为1/N,i＝1,2,…,N；

(c2)对于每一个分类器m，m＝1:M,执行如下：

通过使用权值ω_i在分类器T_m(x)下训练相应的数据；

计算对应的分类误差： ${\mathrm{err}}_m=\frac{{\mathrm{\Σ}}_{i=1}^N{\mathrm{\ω}}_{i}I(y_i\≠T_m\left(x_i\right))}{{\mathrm{\Σ}}_{i=1}^N{w}_i};$

用以上求得的误差来计算相应的第m个分类器的权重

对所有i＝1,2,…,N，更新数据样本的权值：ω_i＝ω_i·exp(α_m·I(y_i≠T_m(x_i)))；

对所有i＝1,2,…,N重新标准化权值ω_i；

(c3)输出C(x)，由分类器进行投票得到最后的结果 $C\left(x\right)=\arg {\max }_k{\mathrm{\Σ}}_{m=1}^M{\mathrm{\α}}_m\·$ $I(T_m=k).;$

d)LBP方法：将一幅图划分成3*3的窗口，每个窗口含一个像素灰度值，将周围点的值分别于中心点的值做比较，如果大于中心点的值就标注是1，否则就标为0；最终经过对比得到一串8位的二进制数，对应的就可以计算该值，即LBP值；

对应的公式可记为：其中(x_c,y_c)是中心像素，i_c对应的灰度值；而i_p则是相邻像素点的灰度值，s是一个符号函数：

本发明的特点：本发明提出了以ELM为基础分类器，多类Adaboost方法为核心，结合基于人脸识别的LBP方法，用于处理多类人脸图像识别的问题。其中将ELM方法作为基础分类器是由于其运算简便快速以及良好的性能，与现有的经典方法相比，本申请的方法可以直接应用于多分类问题。通过人脸数据集的对比实验，实验结果表明，本方法可以使预测的分类结果更加稳定，还具有良好的泛化性能。

本发明的特征及优点将通过实施例结合附图进行详细说明。

【附图说明】

图1是LBP方法中得到一串8位的二进制数的示意图；

图2是ELM的性能图；

图3是MAELM的性能图；

图4是ELM与MAELM的性能对比图；

图5是原MAELM的性能图；

图6是MAELM与PCA结合的性能图；

图7是MAELM的方法得到的数据集Yale和ORL下的对比图；

图8是MAELM与PCA结合方法得到的数据集Yale和ORL下的对比图。

【具体实施方式】

参阅图1至图8，本发明提出了一种基于ELM的多类Adaboost集成学习方法，主要包括以下几个步骤：

a)ELM方法：对于N个任样本(x_i,t_i)，x_i＝[x_i1,x_i2,…,x_id]^T∈R^d，t_i＝[t_i1,t_i2,…,t_iK]^T∈R^K，带L个隐层节点且激活函数为h(x)的标准单隐藏层前馈神经网络的数学模型为： ${\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i\left(x_j\right)={\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i(w_i\·x_j+b_i)=o_j;$

其中j＝1,2,…,N，w_i＝[w_i1,w_i2,…,w_id]^T表示连接第i个隐层节点和输入节点的权重向量，而β_i＝[β_i1,…,β_iK]^T则表示连接第i个隐藏节点和输出节点的权重向量，o_j＝[o_j1,o_j2,…o_jK]^T表示该单隐藏层前馈神经网络的第i个输出向量，b_i则是第i个隐藏节点的阈值，(·)则表示两个向量的内积，隐层节点数为L的单隐层前馈神经网络的激活函数h(x)可以简写表示为Hβ＝T；

b)主成分分析方法：

PCA方法的主要过程如下：

(b1)计算数据矩阵X的协方差矩阵V；

(b2)通过公式|V-λΕ|＝0计算矩阵V的特征值λ，其中λ₁≥λ₂≥…≥λ_p；

(b3)通过(V-λΕ)β＝0计算相应的特征向量，其中β为β₁,β₂,…,β_p；

(b4)算出最后的主成分矩阵Y_r＝β′_rX(r＝1,2,…,p)；

其中E是一个单位矩阵，E的维度同矩阵V，矩阵Y由n行向量组成，每一个向量是矩阵X特征值所对应的特征向量；

c)多类Adaboost方法：预先定义函数I(x)为：

首先给定训练数据{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)},其中x_i∈R^d表示维度为d的第i个输入特征向量，相对的y_i则表示第i个特征向量所属的类别标签，这里令y_i∈{-1,+1}分为两类，通过使用T_j(x)函数来表示第i个若分类器，同时假定一共含有M个若分类器，执行以下步骤：

(c1)初始化每个节点的观测权值ω_i为1/N,i＝1,2,…,N；

(c2)对于每一个分类器m，m＝1:M,执行如下：

通过使用权值ω_i在分类器T_m(x)下训练相应的数据；

计算对应的分类误差： ${\mathrm{err}}_m=\frac{{\mathrm{\Σ}}_{i=1}^N{\mathrm{\ω}}_{i}I(y_i\≠T_m\left(x_i\right))}{{\mathrm{\Σ}}_{i=1}^N{w}_i};$

用以上求得的误差来计算相应的第m个分类器的权重

对所有i＝1,2,…,N，更新数据样本的权值：ω_i＝ω_i·exp(α_m·I(y_i≠T_m(x_i)))；

对所有i＝1,2,…,N重新标准化权值ω_i；

(c3)输出C(x)，由分类器进行投票得到最后的结果 $C\left(x\right)=\arg {\max }_k{\mathrm{\Σ}}_{m=1}^M{\mathrm{\α}}_m\·$ $I(T_m=k).;$

d)LBP方法：如图1所示，将一幅图划分成3*3的窗口，每个窗口含一个像素灰度值，将周围点的值分别于中心点的值做比较，如果大于中心点的值就标注是1，否则就标为0；最终经过对比得到一串8位的二进制数，对应的就可以计算该值，即LBP值；

对应的公式可记为：其中(x_c,y_c)是中心像素，i_c对应的灰度值；而i_p则是相邻像素点的灰度值，s是一个符号函数：值得注意的是在ELM方法中

$\mathrm{\β}=\left[\begin{array}{c}{\mathrm{\β}}_1^T\\ \·\\ \·\\ \·\\ {\mathrm{\β}}_L^T\end{array}\right],$ $T=\left[\begin{array}{c}{t}_1^T\\ \·\\ \·\\ \·\\ t_N^T\end{array}\right],$ 则有β＝H+T，其中H⁺是广义逆矩阵,矩阵I表示单位矩阵，它的相应维度是根据矩阵HH^T而定的，C是一个常量。之所以用了含C的表达式是为了处理HH^T是奇异矩阵时的特殊情况。

本方法提出了一种基于ELM的多类Adaboost集成学习方法(简称MAELM)，该方法是基于增强ELM的新方法，将多类Adaboost应用于ELM做集成训练，并可用于直接处理多分类的问题。实验中使用了PCA方法取代了在ELM的训练过程中随机构造权值和阈值的过程，并做了一系列相应的实验对比。实验证明基于LBP的人脸识别方法在一定程度上可以达到稳定而高效的性能。虽然ELM方法结合了PCA之后性能有了相应的提高，但仍旧不能取代本方法提出的基于随机权值和阈值的MAELM方法。实验结果也证明了本方法在稳定性上超越了原先的ELM方法，在性能上也比传统的方法好。

综上所示，本方法的运算复杂度较低，结构简单易懂，在处理多分类问题上具有良好的性能，值得后期的研究发展。

本申请通过使用两个人脸图像数据集Yale以及ORL来证明所提方法的效果。为了使结果更加精确，除了方法稳定性分析，其他所有的运算都是基于训练数据及测试数据运算20次求平均值。本申请在ELM方法中选择了普遍实用的sigmod函数作为激活函数。

参数的设置及其代表的意义如表1所示。比如说在实验中设置参数M＝10，C＝1，L＝1000，t＝5，以及w＝5，这意味着选取每个人的五幅图像作为训练集，剩余的则划为测试集。每一幅图像分成5*5的窗口，在建立好训练数据集和测试数据集之后，ELM中参数C＝1，L＝1000，而MAELM中则包含十个基础ELM，参数同为C＝1，L＝1000。

表1参数表

参数	含义
		M	基础分类器的个数
C	广义逆矩阵H下的常参数值
		L	ELM中的隐藏层的节点数
t	每个人的训练图像数
		w	把每幅人脸图划分成w*w的窗口大小
r	矩阵降维后的维度

1、参数C与L对方法的影响：

尽管与SVM方法相比，极限学习机对参数的影响没有那么敏感，但方法的性能始终会随着隐层数L以及常量C的变化而波动。

假定输入几个训练样本，这边已经严格的证明了在输入权值和阈值都随机的情况下带N个隐层节点的SLFNs能够精确的训练N个不同的样本。当然在误差允许的范围内，隐层节点的个数可以远远小于参数样本个数即输入层个数N。与此同时，常参C也会对矩阵H的广义逆有一定的影响。

这部分的实验是在数据集Yale下进行的。实验参数的设置具体为M＝10，t＝5，w＝3，此外L的设置范围是100，400，700…，1900，常数C设置,10-5,10-4,…1,101,102，…105。ELM与MAELM的具体表现效果如图2、图3所示，显然，两个方法对于参数的影响波动都不会很大，而两个方法的主要区别则集中在L很小而C很大的那块区域。从图中可以看出在这块区域，基于ELM方法的效果不是很好，大致的准确率在0.6以下。而与之相反的是基于MAELM的方法在这块区域的效果表现的很稳定，数据显示准确率始终在0.8以上。

此外在了解了PCA方法在人脸识别领域的优异表现之后，我们猜测如果将PCA方法运用到矩阵H构建中，取代当时随机选取权值和阈值的过程，是否可以给出一个更加稳定表现更好的效果。于是我们在同一个数据集以及相同参数范围下做实验。这里有一点需要强调的是，运用PCA方法对原始矩阵进行降维后得到的新维度值r不能大于输入节点的个数。鉴于数据集的维度以及其他环境因素的影响，参数r设置为10,20,…,60。因为参数比较多，中间的数据略有起伏，如果以图的形式画出来比较复杂，难以观察，于是选择了以列表的形式展示出来。以单类极限学习机和多类极限学习机分别与主成分分析方法相结合作为基础分类器的方法分类准确率如表2所示，效果较好的数据用粗体表示。

表2带PCA的ELM与MAELM方法的性能对比

显然，从表2上可以看出结合了PCA方法之后，两个方法因参数的波动影响不是很敏感。不同点在于当常量C值很小时，后者的方法效果表现的比较好；而随着C值的增大，r值保持略小时，前者的效果更好且比较稳定；此外，当两个参数都变的较大时，两个方法都达到了极佳的效果，且不分上下，准确率都在0.85以上。

2、方法稳定性分析：

原始的极限学习机构造介于输入层和隐藏层的权值以及阈值都是随机生成的，方法的效果即便在相同数据集下的同一组参数中表现也会略有波动，也就是说或许原始的极限学习机方法没有达到真正意义上的那么稳定。而添加了PCA的方法正好克服了这一点，可以保持数据的稳定效果。

鉴于图2、图3中所展示的基于ELM方法的效果在时表现的比较好，而基于MAELM的方法在C＝10³时有优越的性能。于是我们对基于ELM的方法设置参数C＝1，L＝1000，t＝5，w＝3，对基于MAELM的方法设置参数为M＝10，C＝10³，L＝1000，t＝5，w＝3；此外考虑到PCA的性能，实验中增加了这两个方法在对应参数下分别与PCA方法相结合的方法，一同加入对比分析。根据上表中r值对方法不同程度的影响，这边参数r选择了20(影响相对最小)。为了更加公正的对比出所提方法的优势，本实验在同样的训练以及测试数据集下重复训练20次，具体的结果对比如图4所示，从图4中可以明显看出基于MAELM的方法效果比基于ELM的方法更加稳定及高效，虽然添加了PCA方法之后，两个方法的效果都变得一致性的极佳稳定，然而方法的准确率始终趋于原始的两个方法之间，并没有超过原始的基于MAELM的方法。此外我们计算了四个方法在20次测试下的准确率均值以及方差如表3所示。这里需要注意的是，尽管基于MAELM的方法效果稳定，准确率较高，就这样果断的得出结论表明该方法效果较好是不准确的。因为我们不能因为一个数据集实验的效果就草率的得出总结，接下来还需要做其他的实验对比来显示该方法的优异性。

表3 ELM与MAELM的对比

Algorithm	Mean Accuracy Rate	Standard Derivation
			ELM	0.8972	0.0213
MAELM	0.9361	0.0157
			ELM_PCA	0.9222	0
MAELM_PCA	0.9222	0

3、测试参数M对方法的影响：

为了探究基础分类器个数M对方法的影响，本实验对原始基于MAELM的方法设置参数C＝1，t＝5，w＝4，L＝1000,对比同参数下结合PCA的方法，其中r＝20，M＝2，4，6…50。同样在每一组参数下做20次测试取平均值，所得的结果分别如图5和图6所示，从图5可以明显看出，随着参数M的增加，方法的准确率越来越高。然而在M增加的同时，方法效果增加的趋势慢慢降低了。而从图6中可以看出，在M值略小时随着其值的增加方法的准确率略微的降低，而当M值增大到25之后，对应方法的准确率也相应的增加了，尽管增加的趋势没有像图5中原始基于MAELM方法中所表现的那么平稳。这表明在真实世界的应用中，M值即基础分类器的个数并不需要那么多。对于基于MAELM的原始方法而言，设置少于30个的基础分类器足以试用，并且在同等条件下比添加了PCA方法之后的效果更好。

4、不同数据集下的对比：

在这一节，实验在两个经典数据集Yale及ORL下举行。具体的实验参数设置为：C＝1，L＝1000，t＝5，M＝20(MAELM，r＝20(PCA)，本实验测试参数w的范围是从3到7。相应的方法准确率也是在相同的随机训练数据集和测试数据集下从20次实验中取平均值得到。

实验结果表明，在两个不同的数据集下，随着参数w的改变，基于MAELM的方法效果在总体上都比基于ELM的方法效果好。如图7所示。然而在图8中，针对两个数据集，随着参数w的变化，结合了PCA之后的基于ELM方法表现的异常优越。此外该方法针对不同的数据集，在结合了PCA的所有方法中表现的最为稳定，如图8所示。

5、PCA方法的分析：

在做了以上的这些实验之后，我们可以得出结论如下：尽管MAELM与PCA结合之后并没有增强方法的效果，但是ELM与PCA结合之后，对应的方法效果比以前好了很多，加了PCA方法之后实验的准确率趋于原始的两个方法之间。

此外，且不论方法的效果如何，单是比较方法效果的稳定性的话，加入了PCA方法之后，两个方法的准确率稳定性大大提高了，毕竟原始的ELM方法中权值和阈值是随机构造的，在保证方法效果的同时，不能保证极佳的稳定性。

在引入了PCA方法之后，尽管在一定程度上提高了ELM方法的性能，仍然比不上只用随机权值和阈值构造的基于MAELM的方法。因此在处理多类人脸识别的问题中，本方法以ELM作为基础分类器，多类Adaboost方法为核心，结合基于人脸识别的LBP方法表现出了极佳的性能，具有研究意义。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (2)

1.一种基于ELM的多类Adaboost集成学习方法，其特征在于：包括以下几个步骤：

a)ELM方法：对于N个任样本(x_i,t_i)，x_i＝[x_i1,x_i2,…,x_id]^T∈R^d，t_i＝[t_i1,t_i2,…,t_iK]^T∈R^K，带L个隐层节点且激活函数为h(x)的标准单隐藏层前馈神经网络的数学模型为： ${\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i\left(x_j\right)={\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i(w_i\·x_j+b_i)=o_j;$

其中j＝1,2,…,N，w_I＝[w_i1,w_i2,…,w_id]^T表示连接第i个隐层节点和输入节点的权重向量，而β_i＝[β_i1,…,β_iK]^T则表示连接第i个隐藏节点和输出节点的权重向量，o_j＝[o_j1,o_j2,…o_jk]^T表示该单隐藏层前馈神经网络的第i个输出向量，b_i则是第i个隐藏节点的阈值，(·)则表示两个向量的内积，隐层节点数为L的单隐层前馈神经网络的激活函数h(x)可以简写表示为Hβ＝T；

b)主成分分析方法：

PCA方法的主要过程如下：

$X={\left(x_{\mathrm{ij}}\right)}_{n*p}=\begin{array}{c}\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ .& .& & .\\ .& .& ...& .\\ .& .& & .\\ x_{n1}& x_{n2}& ...& x_{\mathrm{np}}\end{array}\right];\end{array}$

(b1)计算数据矩阵X的协方差矩阵V；

(b2)通过公式|V-λΕ|＝0计算矩阵V的特征值λ，其中λ₁≥λ₂≥…≥λ_p；

(b3)通过(V-λΕ)β＝0计算相应的特征向量，其中β为β₁,β₂,…,β_p；

(b4)算出最后的主成分矩阵Y_r＝β′_rX(r＝1,2,…,p)；

其中E是一个单位矩阵，E的维度同矩阵V，矩阵Y由n行向量组成，每一个向量是矩阵X特征值所对应的特征向量；

c)多类Adaboost方法：预先定义函数I(x)为：

$I\left(x\right)=\left\{\begin{array}{cc}1,& \mathrm{ifx}=\mathrm{true}\\ 0,& \mathrm{ifx}=\mathrm{false}\end{array}\right.,$ 首先给定训练数据{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)},其中x_i∈R^d表示维度为d的第i个输入特征向量，相对的y_i则表示第i个特征向量所属的类别标签，这里令y_i∈{-1,+1}分为两类，通过使用T_j(x)函数来表示第i个若分类器，同时假定一共含有M个若分类器，执行以下步骤：

(c1)初始化每个节点的观测权值ω_i为1/N,i＝1,2,…,N；

(c2)对于每一个分类器m，m＝1:M,执行如下：

通过使用权值ω_i在分类器T_m(x)下训练相应的数据；

计算对应的分类误差： ${\mathrm{err}}_m=\frac{{\mathrm{\Σ}}_{i=1}^N{\mathrm{\ω}}_{i}I(y_i\≠T_m\left(x_i\right))}{{\mathrm{\Σ}}_{i=1}^N{w}_i};$

用以上求得的误差来计算相应的第m个分类器的权重

对所有i＝1,2,…,N，更新数据样本的权值：ω_i＝ω_i·exp(α_m·I(y_i≠T_m(x_i)))；

对所有i＝1,2,…,N重新标准化权值ω_i；

(c3)输出C(x)，由分类器进行投票得到最后的结果 $C\left(x\right)=\arg {\max }_k{\mathrm{\Σ}}_{m=1}^M{\mathrm{\α}}_m\·$ $I(T_m=k).;$

d)LBP方法：将一幅图划分成3*3的窗口，每个窗口含一个像素灰度值，将周围点的值分别于中心点的值做比较，如果大于中心点的值就标注是1，否则就标为0；最终经过对比得到一串8位的二进制数，对应的就可以计算该值，即LBP值；

对应的公式可记为：其中(x_c,y_c)是中心像素，i_c对应的灰度值；而i_p则是相邻像素点的灰度值，s是一个符号函数： $s\left(x\right)=\left\{\begin{array}{cc}1,& \mathrm{ifx}\≥0\\ 0,& \mathrm{else}.\end{array}\right..$

2.如权利要求1中所述的一种基于多类Adaboost的集成学习方法，其特征在于所述步骤a)中

$H=\left[\begin{array}{ccc}{h}_1(w_1\·x_1+b_1)& ...& h_L(w_L\·x_1+b_L)\\ .& .& .\\ .& .& .\\ .& .& .\\ h_1(w_1\·x_N+b_1)& ...& h_L(w_L\·x_N+b_L)\end{array}\right],$ $\mathrm{\β}=\left[\begin{array}{c}{\mathrm{\β}}_1^T\\ .\\ .\\ .\\ {\mathrm{\β}}_L^T\end{array}\right],$ $T=\left[\begin{array}{c}{t}_1^T\\ .\\ .\\ .\\ t_N^T\end{array}\right],$ 则有β＝H⁺T，其中H⁺是广义逆矩阵,矩阵I表示单位矩阵，I的相应维度是根据矩阵HH^T而定的，C是一个常量，用含C的表达式是为了处理HH^T是奇异矩阵时的特殊情况。