CN104573728A - 一种基于极端学习机的纹理分类方法 - Google Patents

Abstract

本发明公开了一种基于极端学习机的纹理分类方法，该方法包括以下步骤：对已知的纹理图像样本进行特征提取，获取纹理特征向量；采用极端学习机作为基分类器，将纹理特征向量作为极端学习机的输入元素，训练基分类器，利用训练样本集对基分类器进行训练，建立分类模型；对未知的纹理图像进行特征提取，根据构建的动力学模型，获得多个基分类器的输出向量；对未知纹理图像获得的多个输出向量，采用动力模型将其进行融合，利用最大决策规则进行未知的纹理图像识别。本发明实现了纹理图像的自动分类和识别，能够获得较高的分类进度，提高了工作效率及其稳定性。本发明具有精度高、速度快、稳定性强等诸多优点，可以用于纹理图像的自动检测。

Description

一种基于极端学习机的纹理分类方法

技术领域

本发明涉及计算机模式识别和纹理图像的交叉领域，尤其涉及一种基于极端学习机的纹理分类方法。

背景技术

纹理识别是计算机视觉和模式识别领域的一个重要研究内容，并广泛应用于农业、工业、医疗、军事等领域，如遥感系统中不同地形地貌的分类、人脸识别、生物医学图像分析系统的医学影像中病变组织检测等。目前，纹理识别技术的研究已经取得了一定的进步，为多个领域的发展提供了良好的平台和契机，吸引着越来越多的研究人员在相关领域进一步研究和探索。

纹理识别是通过计算不同类别的纹理所表现出的不同特性，判定某种未知纹理图像的类别属性。纹理识别技术主要可以分为：特征提取和纹理分类两部分。其中，特征提取是进行纹理分类的前提和基础，提取特征区分度的好坏会在很大程度上影响最终的纹理分类效果。Tuceryan和Jain将目前常用的纹理特征方法分为4大类：基于统计、基于模型、基于结构和基于信号处理，其中，具有代表性的特征提取方法主要包括：Gabor滤波、小波变换、小波包变换等。

分类算法的研究也是纹理分类的一个重要方面，目前各国学者已经开发了多种分类器和分类算法，其中最常用的纹理分类方法主要包括：最近邻分类器、人工神经网络分类器和支持向量机分类器。针对上述算法普遍存在的分类正确率低、计算量大和缺乏理论支持等缺点，有些科研人员提出了极端学习机分类方法(ELM)，它是近年来发展起来的一种新型单隐层前馈神经网络；与传统的方法不同，极端学习机通过随机的选择网络中的隐层神经元，其网络的输出层权值可以通过解析方法获得，具有学习速度快、泛化能力好等诸多优点。然而，由于传统极端学习机的输入层与隐层之间的输入权重和隐层的偏差是随机赋值的，因此容易导致输出结果不稳定，这在很大程度上限制了该方法在实际工程中的应用。

发明内容

本发明提供了一种基于极端学习机的纹理分类方法，本发明将多个ELM作为基准分类器，通过构建动力模型对其输出向量进行相应的整合，以获得更加稳定的输出，实现纹理图像的自动分类和识别，详见下文描述：

一种基于极端学习机的纹理分类方法，所述方法包括以下步骤：

对已知的纹理图像样本进行特征提取，获取纹理特征向量；

采用极端学习机作为基分类器，将纹理特征向量作为极端学习机的输入元素，训练基分类器，利用训练样本集对基分类器进行训练，建立分类模型；

对未知的纹理图像进行特征提取，根据构建的动力学模型，获得多个基分类器的输出向量；

对未知纹理图像获得的多个输出向量，采用动力学模型将其进行融合，利用最大决策规则进行未知的纹理图像识别。

所述构建的动力学模型为：

$\stackrel{\·}{\stackrel{\→}{u}}\left(t\right)={\mathrm{\γ}}_1{F}_{\mathrm{linear}}\left(\stackrel{\→}{u}\left(t\right)\right)+{\mathrm{\γ}}_2{F}_{\mathrm{non}-\mathrm{linear}}\left(\stackrel{\→}{u}\left(t\right)\right)$

其中，为线性动力模型；为非线性动力模型；γ₁表示线性动力模型的权重系数；γ₂表示非线性动力模型的权重系数。

本发明提供的技术方案的有益效果是：本发明在深入研究纹理图像的基础上，选择了能够充分反映现实自然纹理的哥伦比亚反射纹理数据库(CURET图像数据库)进行分析，利用动力模型改进的分类器实现纹理图像的自动分类。本发明与现有技术相比的优点在于：

(1)提出将极端学习机应用于纹理分类领域，学习速度快是极端学习机的一个显著特点，比传统的分类方法效率显著提升，可以实现快速的纹理图像分类和识别。

(2)提出了新型的动力模型，利用线性模型和非线性模型的平衡状态的不断迭代，实现多分类器的融合，使分类输出更加稳定，并且相较于传统的分类方法正确率明显提升。

总之，本发明将极端学习机和动力学模型相关理论用于纹理图像的自动分类和识别，弥补了传统的纹理分类方法正确率低、学习速度慢的不足，本发明能更加准确高效的区分纹理图像类型，具有准确率高、时间效率高、稳定性强等优点，有着广泛的应用前景。

附图说明

图1本发明提供的极端学习机原理示意图；

图2本发明提供的学习模型原理示意图；

图3本发明提供的一种基于极端学习机的纹理分类方法的流程图；

图4本发明提供的稳定性对比示意图。

表1本发明提供的CURET纹理图像分类正确率结果对比；

表2本发明提供的CURET纹理图像分类训练时间结果对比。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

鉴于此，本发明在深入研究纹理图像的基础上，选择了能够充分反映现实自然纹理的CURET图像数据库进行分析，采用小波包分解、灰度共生矩阵、灰度梯度共生矩阵、统计几何特征、Gabor小波和双数复小波等纹理特征提取方法，提取纹理图像的特征指数向量。在特征空间里，本发明将多个ELM作为基准分类器，通过构建动力模型对其输出向量进行相应的整合，以获得更加稳定的输出，实现纹理图像的自动分类和识别。

101：对已知的纹理图像样本进行特征提取，获取纹理特征向量；

即获取CURET图像数据库的原始纹理图像数据，采用小波包分解、灰度共生矩阵、灰度梯度共生矩阵、统计几何特征、Gabor小波和双数复小波等纹理特征特征提取方法，提取纹理图像的特征指数向量，将图像映射到特征空间，并将纹理特征向量进行归一化处理；

上述的纹理特征提取部分都是采用常用的算法加以实现，本发明实施例对此不做限制。

102：采用极端学习机作为基分类器，将纹理特征向量作为极端学习机的输入元素，训练基分类器，利用训练样本集对基分类器进行训练，建立分类模型，实现更加快速的分类效果；

ELM是一种单隐层前馈神经网络，它摒弃了梯度下降算法的迭代调整策略，对输入权值和隐层节点偏移量进行随机赋值，只需通过一步解析计算即可获得网络的输出权值。ELM的数学模型可以表示为：

$f\left(x_j\right)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\β}}_i{h}_i\left(x_j\right)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\β}}_{i}G(a_i,b_i,x_j)=t_j,j=1,...,N---\left(1\right)$

其中，x_j＝[x_j1,...x_ji...,x_jd]^T是第j个输入特征向量，x_ji表示第j个图像的第i维特征属性，d表示特征维数；L是隐层节点数目；β＝[β₁,...β_i...,β_L]^T是隐层节点与输出节点之间的输出权值向量,β_i(i＝1,...,L)表示第i个隐层节点与输出节点之间的权值向量。

其中，h(x_j)＝[h₁(x_j),...h_i(x_j)...,h_L(x_j)]^T是输入x_j在隐层的输出向量，h_i(x_j)表示输入x_j在第i个隐层节点的输出，h_i(x_j)＝G(a_i,b_i,x_j)是隐层的激活函数，a_i是输入层的权重向量；b_i是隐层的偏差；x_j是第j个输入特征向量；t_j＝[t_j1,...t_jk,...t_jm]^T是输出层的输出，t_jk(k＝1,...,m)是第j个输入在第k个输出节点的输出，m是训练样本的类别数；N是训练样本总数。

将(1)转换成矩阵模式，其等价于

Hβ＝O    (2)

其中，

$\begin{array}{cc}\mathrm{\β}={\left[\begin{array}{c}{\mathrm{\β}}_1^T\\ .\\ .\\ .\\ {\mathrm{\β}}_L^T\end{array}\right]}_{L\×m}& O={\left[\begin{array}{c}{t}_1^T\\ .\\ .\\ .\\ t_L^T\end{array}\right]}_{N\×m}\end{array}$

极限学习机的目标是通过训练实现误差||Hβ-O||²的最小化，以及输出权重的标准化。求解方程(2)的最小二乘解，可得

β＝H⁺O    (3)

其中，H⁺是隐层输出矩阵H的Moore-Penrose广义逆矩阵。

对于多分类问题，测试样本的类别属性是输出向量最大值的节点指数，如：输入样本x的输出向量是f(x)＝[f₁(x),...,f_m(x)]^T，则其样本类别可表示为：

$\mathrm{label}\left(x\right)=\arg \underset{i\∈\{1,...m\}}{\max }{f}_i\left(x\right)---\left(4\right)$

在理论上该算法对于无限可微函数或任意非线性有界分段连续的激活函数g(x)都是适用的。例如：径向基函数，正弦函数，余弦函数，指数函数或者其它的非标准函数，

鉴于JunHan等人在前馈神经网络中阐述的Sigmoid函数具有良好的非线性和导数易求性，本发明采用Sigmoid函数作为极端学习机的激活函数，其表达式为：

G(a_i,b_i,x)＝1/(1+e^-x)    (5)

极限学习机的学习过程可以概括为3步：

1、如图1所示，对极端学习机的输入权值向量a_i和隐层节点偏移量b_i进行随机赋值，其大小范围是[-1,1]；

2、将训练样本集的特征向量输入到极端学习机的输入层，采用Sigmoid函数作为激活函数，获得相应的隐形层的输出H，具体公式如下：

G(a_i,b_i,x)＝1/(1+e^-x)

3、作为监督式学习，训练样本集的输出标签是已知的，根据训练样本集的数据对分类器进行训练，获得隐形层和输出层的权值矩阵β，具体公式如下：

β＝H⁺O

通过训练样本集对分类器的训练，建立了完整的学习模型。

103：对未知的纹理图像进行特征提取，根据构建的动力学模型，获得多个基分类器的输出向量；

神经网络可视为一种随时间不断演化的异步非线性大规模并行反馈系统，可以利用机器智能的动力系统方法将其映射成由大量的微分或差分方程所构成的系统。神经动力系统可以描述成一阶微分方程系统，如：

$\stackrel{\·}{\stackrel{\→}{u}}\left(t\right)=F\left(\stackrel{\→}{u}\left(t\right)\right)---\left(6\right)$

其中，表示神经动力系统的状态向量，u_i(t)(i＝1,...,n)表示单个节点瞬时激活函数，n表示节点总数。系统状态可沿着n维状态空间的一条轨迹随着时间迁移，矢量函数状态为整个系统的平衡状态。矢量函数通常采用非对称高斯函数，如下式，s表示非对称高斯函数的零点位置，σ表示方差：

$f\left(x\right)=(s-x)e^{-{(s-x)}^2/{2\mathrm{\σ}}^2}---\left(7\right)$

其满足特性：f(s)＝0

|x|→∞f(x)→0

其中f(s)＝0表示x＝s是函数的零点位置，状态方程可以达到平衡状态。

可构建非线性动力模型如下：

$F_{\mathrm{non}-\mathrm{linear}}\left(\stackrel{\→}{u}\left(t\right)\right)=\underset{j}{\mathrm{\Σ}}(I_j-\stackrel{\→}{u}\left(t\right))\exp (-\frac{{(I_j-\stackrel{\→}{u}\left(t\right))}^2}{{2\mathrm{\σ}}^2})---\left(8\right)$

其中，I_j表示相应的输入，σ表示方差，j表示子分类器标号。

上述模型采用非线性函数作为矢量函数，具有较好的局部特性；但系统模型的收敛进程容易受到系统初始状态的影响，独立性较差。

针对上述非线性模型的缺点，本发明构建如下线性模型：

$F_{\mathrm{linear}}\left(\stackrel{\→}{u}\left(t\right)\right)=-A\stackrel{\→}{u}\left(t\right)+B---\left(9\right)$

其中，A(A＞0)表示线性被动衰减率，B表示线性偏置，其通解为：

u(t)＝u(0)e^-At+(B/A)(1-e^-At)，该模型收敛于渐进解B/A，与系统的初始状态u(0)无关，因此，与非线性模型相比，具有更强的独立性。

为了使构建的动力模型既具有线性模型的相对独立性，又同时具备非线性模型的局部特性，本方法提出新的动力学模型，定义为：

$\stackrel{\·}{\stackrel{\→}{u}}\left(t\right)={\mathrm{\γ}}_1{F}_{\mathrm{linear}}\left(\stackrel{\→}{u}\left(t\right)\right)+{\mathrm{\γ}}_2{F}_{\mathrm{non}-\mathrm{linear}}\left(\stackrel{\→}{u}\left(t\right)\right)---\left(10\right)$

其中，γ＝[γ₁,γ₂]^T表示线性模型与非线性模型的权重系数，分别由分类误差率err_i(i＝1,2)决定，下式所示：

${\mathrm{\γ}}_i=\frac{1}{2}\ln \frac{1-{\mathrm{err}}_i}{{\mathrm{err}}_i},i=\mathrm{1,2}---\left(11\right)$

本发明利用构建的动力学模型，随着时间的不断演化，利用线性吸引子和局部吸引子的迭代，来实现多分类器的最佳融合。

104：对未知纹理图像获得的多个输出向量，采用动力学模型将其进行融合，利用最大决策规则进行未知的纹理图像识别。

记输入样本x_i＝[x_i1,x_i2,...,x_id]^T在基分类器j的输出向量的第k个分量为其中k＝1,2,...,m表示类别标号。对相应的输出构建动力学模型如下：

${\stackrel{\·}{o}}_k{(x_i,t)}_{\mathrm{lineat}}=-{\mathrm{Ao}}_k(x_i,t)+B---\left(12\right)$

$\begin{array}{c}{\stackrel{\·}{o}}_k{(x_i,t)}_{\mathrm{non}-\mathrm{linear}}=\underset{j}{\mathrm{\Σ}}{F}_k^{\left(j\right)}\left(o_k(x_i,t)\right)\\ =\underset{j}{\mathrm{\Σ}}{\mathrm{\λ}}_k^{\left(j\right)}(o_k^{\left(j\right)}\left(x_i\right)-o_k(x_i,t))\\ \×\exp (-\frac{{(o_k^{\left(j\right)}\left(x_i\right)-o_k(x_i,t))}^2}{2{\left({\mathrm{\σ}}_k^j\right)}^2})\end{array}---\left(13\right)$

${\stackrel{\·}{o}}_k(x_i,t)={\mathrm{\γ}}_1{\stackrel{\·}{o}}_k{(x_i,t)}_{\mathrm{linear}}+{\mathrm{\γ}}_2{\stackrel{\·}{o}}_k{(x_i,t)}_{\mathrm{non}-\mathrm{linear}}---\left(14\right)$

其中，表示线性动力系统的输出；o_k(x_i,t)表示标号k的动态变量；表示非线性系统的输出；表示基分类器j对应标号k的矢量函数；表示分类器的加权因素；示分类器的不确定性。o_k(x_i,t)通过迭代收敛到最终的输出并基于最大决策规则确定样本x_i＝[x_i1,x_i2,...,x_id]^T的所属类别，c(1,...,m)表示最终的判断类别，即：

$\begin{array}{ccc}{x}_i\∈x& \mathrm{if}& o_c^{\left(\mathrm{com}\right)}\left(x_i\right)=\underset{k}{\max }{o}_k^{\left(\mathrm{com}\right)}\left(x_i\right)\end{array}---\left(15\right)$

其中，表示动力系统最终输出向量的最大元素，初始化动态变量o_k(x_i,0)，具体设置为： $o_k(x_i,0)=(1/M)\underset{j}{\mathrm{\Σ}}{o}_k^{\left(j\right)}\left(x_i\right).$

对未知的纹理图像测试样本，利用步骤101计算其纹理特征向量，再根据步骤102得到的分类模型获得基分类器的输出向量，将其作为103构建的动力学模型的输入通过步骤104得到最终的输出向量，根据最大决策原则判定该位置样本的类别。

在极端学习机监督式学习方法中，通常需要两个数据集，一个称谓训练样本集，主要构造分类器，另一个称为测试样本集，主要用于检验分类器的性能。因此将CURET纹理图像分为训练样本集和测试样本集，提取特征向量，将其与新构建的多分类器模型结合，实现对多类纹理图像的自动分类和识别。

下面以具体的实验来验证本发明提供的一种基于极端学习机的纹理分类方法的可行性，详见下文描述：

本发明实例采用CURET图像数据库进行相关的纹理分类实验，该数据库包含61类纹理材料，分别具有不同的拍摄角度和光照变化，每幅图像大小为200×200像素。每种纹理材料选取90个样本图像，共计90×61＝5490个样本图像进行仿真实验，其中，随机抽取样本集的2/3作为训练样本集，另外1/3作为测试样本集。

本发明实例分别采取目前常用的小波包分解、灰度共生矩阵、灰度梯度共生矩阵、统计几何特征、Gabor小波和双数复小波等纹理特征提取方法，提取纹理图像的特征指数向量，并将归一化后的特征向量分别作为支持向量机(SVM)、极端向量机(ELM)，

以及本文构建的分类器的输入，采用sigmoid函数作为激活函数，进行训练和测试，纹理分类的正确率如表1所示。

表1

从表1中可以看出，利用目前常用的纹理特征提取方法对CURET数据库纹理图像进行自动分类，采用SVM分类器，其分类正确率最低，最高正确率仅为84.50％；与之相比，利用ELM分类器，可以实现较高的分类正确率，最高达到98.13％；而利用本方法构建分类器，其纹理分类正确率均比ELM有一定程度的提高，最高达到99.05％，获得了理想的分类效果。究其原因，由于本发明采用动力学模型对多分类器进行了融合，可以寻求多个基分类器之间的一致性，摒弃了基分类器中被破坏或是判别错误的样本输出，提高了学习模型的容错能力，因此提高了分类准确率。

本发明实例是在Matlab语言环境下进行实验仿真，计算机配置为：酷睿i5处理器，2.8GHZ的CPU。采用3种分类器进行纹理分类，其训练时间如表2所示。

表2

从表2中可以看出，采用目前常用的纹理特征提取方法，SVM方法花费时间最长，最多达到1613.07秒；ELM方法花费时间最短，最多仅为21.47秒；本发明方法由于整合了多个ELM分类器，所以花费时间略有增加，但与ELM算法花费时间基本为一个数量级，最多仅增加了几十秒的时间。

为了测试本方法与传统ELM算法的稳定性，以采用灰度梯度共生矩阵提取纹理特征为例，对这两种算法分别进行50次实验，其纹理分类正确率如图3所示。

从图4可以看出，本方法不仅在纹理分类正确率上明显优于ELM算法，准确度曲线的波动情况也明显小于ELM算法；经计算可知，50次ELM实验的标准差为0.0050，而50次本发明算法的标准差仅为0.0009，提高了5倍多。由此可见，本发明算法的稳定性明显超过ELM算法，同时获得了良好的稳定性和分类正确率。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于极端学习机的纹理分类方法，其特征在于，所述方法包括以下步骤：

对已知的纹理图像样本进行特征提取，获取纹理特征向量；

采用极端学习机作为基分类器，将纹理特征向量作为极端学习机的输入元素，训练基分类器，利用训练样本集对基分类器进行训练，建立分类模型；

对未知的纹理图像进行特征提取，根据构建的动力学模型，获得多个基分类器的输出向量；

对未知纹理图像获得的多个输出向量，采用动力学模型将其进行融合，利用最大决策规则进行未知的纹理图像识别。

2.根据权利要求1所述的一种基于极端学习机的纹理分类方法，其特征在于，所述构建的动力学模型为：

$\stackrel{\stackrel{.}{\→}}{u}\left(t\right)={\mathrm{\γ}}_1{F}_{\mathrm{linear}}\left(\stackrel{\→}{u}\left(t\right)\right)+{\mathrm{\γ}}_2{F}_{\mathrm{non}-\mathrm{linear}}\left(\stackrel{\→}{u}\left(t\right)\right)$

其中，为线性动力模型；为非线性动力模型；γ₁表示线性动力模型的权重系数；γ₂表示非线性动力模型的权重系数。