CN111428876A - 基于自步学习的混合空洞卷积神经网络的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于自步学习的混合空洞卷积神经网络的图像分类方法，包括如下步骤：1）图像预处理；2）构建混合空洞卷积神经网络；3）批处理；4）初始化；5）训练自步学习的混合空洞卷积神经网络；6）迭代训练；7）测试。这种方法可加快传统卷积神经网络的收敛并提高泛化能力，还可避免因使用池化导致的图像信息损失，能计算更多的信息，进而提高分类性能。

Description

基于自步学习的混合空洞卷积神经网络的图像分类方法

技术领域

本发明涉及计算机视觉技术，具体是基于自步学习的混合空洞卷积神经网络的图像分类方法。

背景技术

随着信息时代的到来，信息技术和大数据产业开始进入高速发展阶段。互联网深入到我们生活中的方方面面，每天都会在我们生活的各个领域产生大量的数据，对这些数据进行挖掘可以得到很多有用的信息。近年来，卷积神经网络在计算机视觉，自然语言处理和语音识别等领域引起了广泛的兴趣。早期由于缺乏训练数据和计算能力，要训练出高性能的模型是很困难的，后来大规模标记数据的出现和GPU计算性能的快速提高，使得对卷积神经网络的研究迅速井喷，使用深度学习算法训练的卷积神经网络模型自提出以来在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的成绩。卷积神经网络(CNN)是常用的深度学习算法之一，在手写体、物体识别等图像分类方面应用广泛。2017年，H.Li等人提出了一种自步学习卷积神经网络新方法，该方法是将一种新的动态自步函数与CNN的学习目标相结合，并进行迭代训练，该方法与传统机器学习方法相比，算法的精准度更高，能一定程度提高模型的泛化能力，但该方法仍然是用的传统卷积神经网络，要在网络中加入了池化层来增加下采样，扩大感受野，但是，在池化过程中会去除掉一些特征图信息，这使得并不是所有有用的信息都能参与计算，这对于提高模型的性能是不利的。

发明内容

本发明的目的是针对现有技术中存在的不足，提出了基于自步学习的混合空洞卷积神经网络的图像分类方法。这种方法可加快传统卷积神经网络的收敛并提高泛化能力，还可避免因使用池化导致的图像信息损失，能计算更多的信息，进而提高分类性能。

实现本发明目的的技术方案是：

基于自步学习的混合空洞卷积神经网络的图像分类方法，包括如下步骤：

1)图像预处理：对github网站上收集的原始图像数据集中的图像格式进行预处理；

2)构建混合空洞卷积神经网络：依据收集的图像数据集特点，根据混合空洞卷积架构设计一组包括多层空洞卷积层的混合空洞卷积网络结构，以构成混合空洞卷积神经网络；

3)批处理：将步骤1)中预处理后的图像数据集分成训练集、验证集和测试集，分别对训练集、验证集和测试集中的图像以100个图像样本为一个批次进行处理；

4)初始化：在步骤2)中构建的混合空洞卷积神经网络中引入二元硬加权自步正则项，得到基于自步学习的混合空洞卷积神经网络，然后初始化基于自步学习的混合空洞卷积神经网络中的超参数；

5)训练基于自步学习的混合空洞卷积神经网络：将步骤3)中训练集的图像样本分批次输入到步骤4)初始化后的自步学习的混合空洞卷积神经网络中，依据二元硬加权自步正则项规则对每个图像样本的难易程度进行判断并赋予权重表示，应用adam算法和误差反向传播来训练基于自步学习的混合空洞卷积神经网络，直至训练集中所有样本的图像都被基于自步学习的混合空洞卷积神经网络学习；

6)迭代训练：对基于自步学习的混合空洞卷积神经网络进行迭代训练，并保存训练后的自步学习的混合空洞卷积神经网络，然后在完成一次迭代后更新二元硬加权自步正则项系数，直至进行了e次迭代后结束训练，其中e的次数人为设定，得到符合预期要求的基于自步学习的混合空洞卷积神经网络；

7)测试：将步骤3)中测试集的样本分批次输入到步骤6)中得到的基于自步学习的混合空洞卷积神经网络中进行计算并测试，并记录测试结果，然后保存记录训练好的基于自步学习的混合空洞卷积神经网络参数，然后将该参数输出。

步骤1)中所述的预处理为将收集的所有原始图像数据集中的图像格式统一调整为矩阵格式。

本技术方案与现有技术相比，引入了混合空洞卷积，使得样本特征图信息中有用的信息能更多的被计算，更多的特征信息被用于训练网络，从而提高网络的性能，而学习大量的信息比较困难，本技术方案引入二元硬加权自步正则项，使得网络能模仿人的学习过程，先学习简单的概念，然后逐渐将复杂的概念加入到学习中，这样循序渐进的学习能避免因复杂的数据而引起震荡式学习，使得网络能在前期快速平滑的收敛，从而获得更好图像分类的性能和泛化能力，既能够快速下采样又能够避免特征图信息的损失。

这种方法加快了传统卷积神经网络的收敛并提高泛化能力，还可避免因使用池化导致的图像信息损失，能计算更多的信息，进而提高分类性能。

附图说明

图1为实施例中混合空洞卷积神经网络的结构示意图；

图2为实施例中SPCNN与SPHDCNN的对比示意图。

图中，SPCNN表示自步学习卷积神经网络，SPHDCNN表示自步学习混合空洞卷积神经网络。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细描述，但不是对本发明的限定。

实施例：

本例方法的预期要求是在基础的图像分类问题上能大幅度提高图像分类准确度，性能优于同类图像分类准确性的平均水平。

基于自步学习的混合空洞卷积神经网络的图像分类方法，包括如下步骤：

1)图像预处理：对github网站上收集的原始图像数据集中的图像格式进行预处理，所述预处理为将收集的原始图像数据集中的图像格式统一调整为矩阵格式，数据中样本的标签采用one-hot编码处理，其中数据中样本的标签为github网站中收集的原始图像数据自带，本例以gitHub网站上下载的MNIST变种图像数据集为例；

2)构建混合空洞卷积神经网络：依据收集的图像数据集特点，根据混合空洞卷积架构设计一组包括多层空洞卷积层的混合空洞卷积网络结构，以构成混合空洞卷积神经网络，本例根据混合空洞卷积架构设计了四层空洞卷积层，空洞率为1,2,3,1的混合空洞卷积，构成混合空洞卷积神经网络，如图1所示；

3)批处理：将步骤1)中预处理后的图像数据集分成训练集、验证集和测试集，分别对训练集、验证集和测试集中的图像以100个图像样本为一个批次进行处理；

4)初始化：在步骤2)的混合空洞卷积神经网络中引入二元硬加权自步正则项，得到基于自步学习的混合空洞卷积神经网络，然后初始化基于自步学习的混合空洞卷积神经网络中的超参数，本例超参数为神经元参数和自步正则项系数，

本例采用交叉熵损失函数作为训练集图像样本经训练后预测的标签和训练集图像样本的真实标签的差距的损失函数，损失函数可以反映出真实分类标签和预测结果的误差，

交叉熵损失函数形式如下：

其中，L表示图像样本的交叉熵损失函数计算的误差值，i是指第i个类别，m表示图像样本的所有类别数，y_i是只第i个图像样本的各类别的预测值，t是经过one-hot编码后的图像样本类别的集合，假设t_i＝1,即真实的分类结果是t_i,则交叉熵误差可以简化为：

L＝-log y_i；

对于混合空洞神经网络中神经元参数W的规模是依据输入和输出神经元的个数来确定的，对于卷积计算中的偏差b的初始值，通常将偏差b初始化为0.然后将混合空洞卷积神经网络的各层混合空洞卷积的空洞率按照1,2,3,1一组初始化；

一般情况下，首先需要确定训练损失值的范围来确定二元硬加权自步正则项的系数的初始值，所以本例首先在不引入二元硬加权自步正则项的情况下，以步骤2)构建的混合空洞卷积神经网络作为初始网络，对图像样本进行学习，得到所有图像样本的损失值并记录，然后根据损失值的最小值初始化二元硬加权自步正则项的系数，然后初始化混合空洞卷积神经网络的迭代次数、自步学习系数的更新速度和混合空洞卷积神经网络的学习速率，再引入二元硬加权自步学习正则项，输入训练集的图像样本来训练基于自步学习的混合空洞卷积神经网络；

5)训练基于自步学习的混合空洞卷积神经网络：将步骤3)中训练集的图像样本分批次输入到步骤4)初始化后的自步学习的混合空洞卷积神经网络中，依据二元硬加权自步正则项规则对输入基于自步学习的混合空洞卷积神经网络中的每个图像样本的难易程度进行判断并赋予权重表示，应用adam算法和误差反向传播算法来训练基于自步学习的混合空洞卷积神经网络，直至训练集中所有的图像样本都被基于自步学习的混合空洞卷积神经网络学习；

通过步骤4)引入的二元硬加权自步正则项实现自步学习方法，得到的代价函数如下：

其中，W和b表示自步学习的混合空洞卷积神经网络中的参数，v是代表图像样本难易程度的权重，n是参与计算的图像样本的数量，v_i代表第i图像样本的难易程度，L(y_i,X_i,W,b)表示第i个图像样本的损失，X_i指第i个图像样本，y_i指图像样本的真实标签，f(v,λ)指自步正则项，其中λ是二元硬加权自步正则项系数，通过学习训练集的图像样本，求出该阶段学习到的自步学习的混合空洞卷积神经网络参数W和b；

训练自步学习的混合空洞卷积神经网络的过程为：

5.1用户输入训练集中以100个图像样本为一个批次的小批量图像，通过交叉熵损失函数计算该批量各图像样本的损失值，然后固定图像样本的权重v，通过adam算法和误差反向传播方法来最优化代价函数，进而更新基于自步学习的混合空洞卷积神经网络中的参数W和b；

5.2将更新后基于自步学习的混合空洞卷积神经网络的参数W和b带入代价函数中并固定，通过交叉熵损失函数求出各图像样本新的损失值，再通过

i＝1,...,n确定图像样本的权重v，

其中，L_i是第i个图像样本的损失，λ是二元硬加权自步正则项系数；

5.3持续向自步学习的混合卷积神经网络中输入一个新的小批量图像，重复步骤5.1和步骤5.2更新参数，直至所有的训练集中的图像样本都被学习；

6)迭代训练：对基于自步学习的混合空洞卷积神经网络进行迭代训练，并保存训练后的自步学习的混合空洞卷积神经网络，然后在完成一次迭代后更新二元硬加权自步正则项系数，直至进行了e次迭代后结束训练，其中e的次数人为设定，得到符合预期要求的基于自步学习的混合空洞卷积神经网络，

迭代训练过程如下：

6.1将步骤3)中验证集的图像样本分批次输入到步骤5)中计算得到分类准确度和分类损失值，若分类损失值和分类准确度出现明显的波动则强制结束迭代训练，在记录此时基于自步学习的混合空洞卷积神经网络中的超参数后，对超参数调整后再重新进行迭代训练；

6.2根据λ＝λ·μ对自步正则项系数进行更新，其中，μ为自步更新参数，且μ＞0；

6.3自步正则项系数更新后，重复步骤5)的训练，对自步学习的混合空洞卷积神经网络中的参数W和b和样本权重v进行更新，从而通过多次迭代的参数优化来最小化代价函数，进而得到符合预期要求的基于自步学习的混合空洞卷积神经网络参数；

7)测试：将步骤3)中测试集的样本分批次输入到步骤6)中得到的基于自步学习的混合空洞卷积神经网络中进行计算并测试，并记录测试结果，然后保存记录训练好的基于自步学习的混合空洞卷积神经网络参数，然后将参数输出。

如图2所示，在使用基于自步学习的混合空洞卷积神经网络在MNIST变种图像数据集上取得了0.817的准确度，与同行的基于自步学习的卷积神经网络的0.793相比，基于自步学习的混合空洞卷积神经网络的准确度有所提升。

Claims (2)

1.基于自步学习的混合空洞卷积神经网络的图像分类方法，其特征在于，包括如下步骤：

1）图像预处理：对github网站上收集的原始图像数据集中的图像格式进行预处理；

2）构建混合空洞卷积神经网络：依据收集的图像数据集特点，根据混合空洞卷积架构设计一组包括多层空洞卷积层的混合空洞卷积网络结构，以构成混合空洞卷积神经网络；

3）批处理：将步骤1）中预处理后的图像数据集分成训练集、验证集和测试集，分别对训练集、验证集和测试集中的图像以100个图像样本为一个批次进行处理；

4）初始化：在步骤2）的混合空洞卷积神经网络中引入二元硬加权自步正则项，得到基于自步学习的混合空洞卷积神经网络，然后初始化基于自步学习的混合空洞卷积神经网络中的超参数；

5）训练自步学习的混合空洞卷积神经网络：将步骤3）中训练集的图像样本分批次输入到步骤4）初始化后的自步学习的混合空洞卷积神经网络中，依据二元硬加权自步正则项规则对每个图像样本的难易程度进行判断并赋予权重表示，应用adam算法和误差反向传播来训练基于自步学习的混合空洞卷积神经网络，直至训练集中所有样本的图像都被基于自步学习的混合空洞卷积神经网络学习；

6）迭代训练：对基于自步学习的混合空洞卷积神经网络进行迭代训练，并保存训练后的自步学习的混合空洞卷积神经网络，然后在完成一次迭代后更新二元硬加权自步正则项系数，直至进行了e次迭代后结束训练，其中e的次数人为设定，得到符合预期要求的基于自步学习的混合空洞卷积神经网络；

7）测试：将步骤3）中测试集的样本分批次输入到步骤6）中得到的基于自步学习的混合空洞卷积神经网络中进行计算并测试，并记录测试结果，然后保存记录训练好的基于自步学习的混合空洞卷积神经网络参数，然后将该参数输出。

2.根据权利要求1所述的基于自步学习的混合空洞卷积神经网络的图像分类方法，其特征在于，步骤1）中所述的预处理为将收集的所有原始图像数据集中的图像格式统一为矩阵格式。

Images