CN106529574B - 基于稀疏自动编码器和支持向量机的图像分类方法 - Google Patents

Abstract

基于稀疏自动编码器和支持向量机的图像分类方法，包括以下步骤：获取训练图像集和测试图像集；构建多隐含层的深度稀疏自动编码器，对深度稀疏自动编码器进行训练，直到满足训练条件。将测试图像集输入到训练好的深度稀疏自动编码器进行逐层学习；并用提出的特征权值结合法对每个特征集分配一个特征权值，最后将每层隐含层获得的特征集和对应的权值结合成一个新的待分类图像特征集；将训练图像特征集作为训练样本对支持向量机分类器进行训练，达到支持向量机最优分类性能；将得到的待分类图像特征集输入到优化后的支持向量机，进行图像分类并得到分类准确率。本发明有效的提高了图像的分类准确率，具有良好的泛化能力和适用范围。

Description

基于稀疏自动编码器和支持向量机的图像分类方法

技术领域

本发明涉及一种图像分类方法，属于模式识别与智能计算、图像处理技术领域，特别涉及一种基于稀疏自动编码器和支持向量机的图像分类方法。

背景技术

随着信息技术的发展，图像数据急剧增长，对图像处理的需求也大大增加，在现实生活中，由于图像模糊、字体不清晰以及拍摄视角等因素，所采集的图像质量往往不高，这就影响了图像分类的准确性。传统的图像分类技术大都基于大规模计算，它们的计算量和计算精度之间往往存在一定的矛盾。在早期的图像分类研究中，是对图像底层特征进行研究，一般采用纹理、颜色和形状等低级特征表示图像信息，然后根据提取到的特征进行图像分类。虽然纹理、颜色和形状等低级特征在一定条件下能够很好的表示图像，但是该方法适应能力差，且底层特征和高层特征之间会出现“语义鸿沟”问题。为了解决“语义鸿沟”问题，出现了描述图像信息的中层语义，基于底层特征和语义的图像分类，图像的特征是根据先验知识人工设计的，且有些图像的先验知识很难获取，因此图像的底层特征和语义特征识别力低，进而影响图像的分类准确率。

近年来，深度学习思想的提出，为机器学习的带来了新的研究领域。深度学习是建立、模拟人脑进行学习时的神经网络，模拟人脑学习机制来处理数据。稀疏自动编码器是人工神经网络的一种特殊学习模型，它的输出与输入是相同的，加入一定的限制条件，将大部分节点置零，只有少数节点非零，稀疏自动编码器通过训练调整其参数，使得输入的样本经过编码变换后又通过解码变换尽可能的复现原来的特征，具有较好的特征提取能力。支持向量机在解决非线性及高维分类问题时具有明显优势，在解决多分类的图像方面有较好的分类效果。

现有的方法存在的不足：一方面：单层稀疏自动编码器在特征学习时不易提取到完整、深层的抽象特征，因此会丢失一部分特征信息，使得特征缺乏鲁棒性，进而影响图像分类的准确率；另一方面：支持向量机会受到参数、核函数等因素的影响，支持向量机性能的好坏会影响最终的图像分类准确率。

发明内容

本发明的目的旨在解决上述技术缺陷，自动地提取图像深层次抽象特征，提高特征识别力，提高分类器的分类性能，进而提高图像的分类准确率。

为达到上述目的，本发明提出一种基于稀疏自动编码器和支持向量机的图像分类方法，包括以下步骤：

S1：获取训练图像集和测试图像集；

S2：构建多隐含层的深度稀疏自动编码器，输入训练图像集，对深度稀疏自动编码器进行训练，直到满足训练条件。

S3：将测试图像集输入到训练好的深度稀疏自动编码器进行逐层学习，每层隐含层提取到一个特征集信息；并用提出的特征权值结合法对每个特征集分配一个特征权值，最后将每层隐含层获得的特征集和对应的权值结合成一个新的待分类图像特征集；

S4：将训练图像特征集作为训练样本对支持向量机分类器进行训练，并采用遗传算法对支持向量机进行优化，选择出支持向量机的最优参数，达到支持向量机最优分类性能；

S5：将得到的待分类图像特征集输入到优化后的支持向量机，进行图像分类并得到分类准确率。

有益效果

根据本发明实施例的基于稀疏自动编码器和支持向量机的图像分类方法，本方法在特征提取方面，采用了多隐含层的稀疏自动编码器来进行特征学习，每经过一个隐含层都会得到一个特征表达。然后根据提出的特征权值结合法对每层隐含层得到的特征集分配一个特征权值，最后，每个特征集和相应的权值结合成一个新的待分类图像特征集，新特征集具有完整、抽象的深层特征信息，具有较高的特征识别力。

针对支持向量机的分类性能易受到参数、核函数等因素的影响，采用遗传算法优化支持向量机，遗传算法能在最短时间内全局搜索到最优的点，即能达到支持向量机最优分类性能的参数。仿真实验表明，本发明能自动地提取图像深层抽象特征，提高了特征识别力，有效的提高了图像的分类准确率，具有良好的泛化能力和适用范围。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于稀疏自动编码器和支持向量机的图像分类方法的流程图；以及

图2为本发明一个实施例的一个三隐含层的深度稀疏自动编码器示意图；以及

图3为本发明一个实施例的遗传算法优化支持向量机的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，根据本发明基于稀疏自动编码器和支持向量机的图像分类方法，包括以下几个步骤：

S1：获取训练图像集和测试图像集；

S2：构建多隐含层的深度稀疏自动编码器，输入训练图像集，对深度稀疏自动编码器进行训练，直到满足训练条件。

深度稀疏自动编码器首先要进行网络训练，具体训练过程如下：

1)将训练图像集作为输入层，将x＝h⁰作为稀疏自动编码器的可视层，训练出第一层隐含层。

x为可视层向量即输入层，h是隐含层向量，第n层隐含层向量就是hⁿ，所以此处的h⁰和x的含义相同，即输入层，也叫可视层。

2)用第一层得到的图像特征作为输入数据到第二层中。

3)利用第2步的数据训练第二层，同样运用稀疏自动编码器模型。

4)重复上述2、3步骤，直到训练到所需要的层数N。

5)用BP算法对网络进行微调，使所有的参数都被优化。

S3：将测试图像集输入到训练好的深度稀疏自动编码器进行逐层学习，每层隐含层提取到一个特征集信息；并用提出的特征权值结合法对每个特征集分配一个特征权值，最后将每层隐含层获得的特征集和对应的权值结合成一个新的待分类图像特征集；

具体分为以下3个小步骤：

S3.1：将测试图像集输入到训练好的深度稀疏自动编码器进行逐层学习，提取图像特征，经过多个隐含层，得到了从简单的边缘特征到深层抽象的特征表达，每层隐含层都会提取到一个特征集S_i，直到得到N个特征集，N为正整数；

S3.2：为了提高特征的识别力，提出特征权值结合法。按照如下公式，为每层隐含层得到的特征集分配一个特征权值W，其中，第i个特征集在整个深度稀疏自动编码器所占权值为W_i，且权值W_i满足下式：

W_i＝i·W i＝1,…,N

S3.3：将每层隐含层得到的特征集和对应的特征权值结合成一个新特征集T，作为待分类的特征集，新特征集T的表达式为：

S4：将训练图像特征集作为训练样本对支持向量机分类器进行训练，并采用遗传算法对支持向量机进行优化，选择出支持向量机的最优参数，达到支持向量机最优分类性能；

遗传算法对支持向量机的寻优步骤如下：

S4.1：确定种群大小、最大迭代次数等各参数，随机产生初始化种群，生成种群个体；

本方法中，种群数量设为20，最大的进化代数设为200，支持向量机参数C的变化范围设为(0,100]，参数γ的变化范围为(0,1]。

S4.2：将种群中个体基因串解码为相应的核函数、核函数参数及错误惩罚因子，并带入支持向量机进行训练和测试；

利用遗传算法对支持向量机分类器的参数寻优，首先需要对核函数、核函数参数以及错误惩罚因子进行遗传编码。本方法对所有参数都采用二进制编码。基因串的编码格式如下表所示：

表1基因串的编码格式

c<sub>0</sub>

c<sub>1</sub>

c<sub>2</sub>

c<sub>3</sub>

…

…

…

c<sub>n+1</sub>

c<sub>n+2</sub>

…

…

…

…

c<sub>n+m+1</sub>

表1中，c₀和c₁为SVM的核函数类型的二进制编码，总共有四种类型的核函数。核函数参数的编码为n位，错误惩罚因子的编码为m位，都是在取值范围内的二进制编码。所以，n+m+2位的二进制编码组合就是个体基因串的编码表示。

S4.3：通过适应度函数计算初始种群中每个个体的适应度值，并保留当前种群中的最优和最差个体；

遗传算法的目标是对支持向量机参数寻优，达到支持向量机的最优分类性能，遗传算法中的评价标准即适应度来评判种群进化的优劣。本方法中将测试样本的准确率ACC_test加上一个很小的常数c再取倒数后的值作为种群适应度的评价函数Fit，评价函数Fit适应度的值采用下式计算：

Fit＝1/(ACC_test+c)

S4.4：判断是否满足终止条件，若满足则终止迭代，得到最优个体，种群选出最优解；否则，执行S4.5步；

S4.5：执行选择、交叉和变异操作；

在选择操作中，本方法采用赌轮选择法和最优保留、最差替换准则相结合的选择方式。赌轮选择法的个体被选中的概率与其适应度函数成正比，群体中每一个染色体指定饼图中的一小块区域，区域大小与染色体的适应性成比例，染色体适应性越高，与其对应的区域面积越大。为了选取染色体，旋转轮盘，最后指针停下指向的区域就是所选择的染色体。

交叉概率P_c和变异概率P_m的选择是影响遗传算法行为和性能的关键所在，直接影响算法的收敛性，交叉算子在遗传算法中起核心作用，变异运算是改变群体中的个体串的某些基因座上的基因值。本方法采用的自适应P_c和P_m的计算公式如下：

其中，P_c1和P_c2分别为个体的最大和最小交叉概率，P_m1和P_m2分别为个体的最大和最小变异概率，P_c1、P_c2、P_m1和P_m2都是区间(0,1)上的常数。f_max是群体中最大的适应度值，f_avg是每代中的平均适应度值，f是要变异个体的适应度值，f′是要交叉的两个个体中大的适应度值。

S4.6：并计算新生成的子代种群中每个个体的适应度值，并保留当前种群中的最优和最差个体；

至此就完成了一组训练样本的训练过程，然后迭代重复以上步骤，直至达到S4.4中的终止条件。

S4.7：执行最优保留，最差替换准则；

最优保留，最差替换准则就是种群中适应度最高的个体不参加交叉和变异运算，而是用它来替换掉本代种群中经过交叉、变异等运算后产生的适应度最低的个体。

S5：将得到的待分类图像特征集输入到优化后的支持向量机，进行图像分类并得到分类准确率。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改替换和变形，本发明的范围有所附权利要求及其等同限定。

Claims (1)

1.基于稀疏自动编码器和支持向量机的图像分类方法，其特征在于：该方法包括以下步骤，

S1：获取训练图像集和测试图像集；

S2：构建多隐含层的深度稀疏自动编码器，输入训练图像集，对深度稀疏自动编码器进行训练，直到满足训练条件；

深度稀疏自动编码器首先要进行网络训练，具体训练过程如下：

1)将训练图像集作为输入层，将x＝h⁰作为稀疏自动编码器的可视层，训练出第一层隐含层；

x为可视层向量即输入层，h是隐含层向量，第n层隐含层向量就是hⁿ，所以此处的h⁰和x的含义相同，即输入层，也叫可视层；

2)用第一层得到的图像特征作为输入数据到第二层中；

3)利用第2步的数据训练第二层，同样运用稀疏自动编码器模型；

4)重复上述2、3步骤，直到训练到所需要的层数N；

5)用BP算法对网络进行微调，使所有的参数都被优化；

S3：将测试图像集输入到训练好的深度稀疏自动编码器进行逐层学习，每层隐含层提取到一个特征集信息；并用提出的特征权值结合法对每个特征集分配一个特征权值，最后将每层隐含层获得的特征集和对应的权值结合成一个新的待分类图像特征集；

具体分为以下3个小步骤：

S3.1：将测试图像集输入到训练好的深度稀疏自动编码器进行逐层学习，提取图像特征，经过多个隐含层，得到了从简单的边缘特征到深层抽象的特征表达，每层隐含层都会提取到一个特征集S_i，直到得到N个特征集，N为正整数；

S3.2：为了提高特征的识别力，提出特征权值结合法；按照如下公式，为每层隐含层得到的特征集分配一个特征权值W，其中，第i个特征集在整个深度稀疏自动编码器所占权值为W_i，且权值W_i满足下式：

W_i＝i·W i＝1，...，N

S3.3：将每层隐含层得到的特征集和对应的特征权值结合成一个新特征集T，作为待分类的特征集，新特征集T的表达式为：

S4：将训练图像特征集作为训练样本对支持向量机分类器进行训练，并采用遗传算法对支持向量机进行优化，选择出支持向量机的最优参数，达到支持向量机最优分类性能；

遗传算法对支持向量机的寻优步骤如下：

S4.1：确定种群大小、最大迭代次数各参数，随机产生初始化种群，生成种群个体；

本方法中，种群数量设为20，最大的进化代数设为200，支持向量机参数C的变化范围设为(0，100]，参数γ的变化范围为(0，1]；

S4.2：将种群中个体基因串解码为相应的核函数、核函数参数及错误惩罚因子，并带入支持向量机进行训练和测试；

利用遗传算法对支持向量机分类器的参数寻优，首先需要对核函数、核函数参数以及错误惩罚因子进行遗传编码；本方法对所有参数都采用二进制编码；基因串的编码格式如下表所示：

表1基因串的编码格式

c₀ c₁ c₂ c₃ … … … c_n+1 c_n+2 … … … … c_n+m+1

表1中，c₀和c₁为SVM的核函数类型的二进制编码，总共有四种类型的核函数；核函数参数的编码为n位，错误惩罚因子的编码为m位，都是在取值范围内的二进制编码；所以，n+m+2位的二进制编码组合就是个体基因串的编码表示；

S4.3：通过适应度函数计算初始种群中每个个体的适应度值，并保留当前种群中的最优和最差个体；

遗传算法的目标是对支持向量机参数寻优，达到支持向量机的最优分类性能，遗传算法中的评价标准即适应度来评判种群进化的优劣；本方法中将测试样本的准确率ACC_test加上一个很小的常数c再取倒数后的值作为种群适应度的评价函数Fit，评价函数Fit适应度的值采用下式计算：

Fit＝1/(ACC_test+c)

S4.4：判断是否满足终止条件，若满足则终止迭代，得到最优个体，种群选出最优解；否则，执行S4.5步；

S4.5：执行选择、交叉和变异操作；

在选择操作中，本方法采用赌轮选择法和最优保留、最差替换准则相结合的选择方式；赌轮选择法的个体被选中的概率与其适应度函数成正比，群体中每一个染色体指定饼图中的一小块区域，区域大小与染色体的适应性成比例，染色体适应性越高，与其对应的区域面积越大；为了选取染色体，旋转轮盘，最后指针停下指向的区域就是所选择的染色体；

交叉概率P_c和变异概率P_m的选择是影响遗传算法行为和性能的关键所在，直接影响算法的收敛性，交叉算子在遗传算法中起核心作用，变异运算是改变群体中的个体串的某些基因座上的基因值；本方法采用的自适应P_c和P_m的计算公式如下：

其中，P_c1和P_c2分别为个体的最大和最小交叉概率，P_m1和P_m2分别为个体的最大和最小变异概率，P_c1、P_c2、P_m1和P_m2都是区间(0，1)上的常数；f_max是群体中最大的适应度值，f_avg是每代中的平均适应度值，f是要变异个体的适应度值，f′是要交叉的两个个体中大的适应度值；

S4.6：并计算新生成的子代种群中每个个体的适应度值，并保留当前种群中的最优和最差个体；

至此就完成了一组训练样本的训练过程，然后迭代重复以上步骤，直至达到S4.4中的终止条件；

S4.7：执行最优保留，最差替换准则；

最优保留，最差替换准则就是种群中适应度最高的个体不参加交叉和变异运算，而是用它来替换掉本代种群中经过交叉、变异运算后产生的适应度最低的个体；

S5：将得到的待分类图像特征集输入到优化后的支持向量机，进行图像分类并得到分类准确率。