CN110781935A - 一种通过迁移学习实现轻量级图像分类的方法 - Google Patents

Abstract

本发明提供一种通过迁移学习实现轻量级图像分类的方法，包括：初始化DenseNet模型结构；对DenseNet模型进行训练，得到DenseNet分类器；对DenseNet分类器中图像的特征进行提取，得到DenseNet分类器的特征参数集；初始化轻量化的DenseNet架构Mini‑DenseNet模型结构；通过降维的方法，将DenseNet分类器的特征参数集处理为Mini‑DenseNet级别的迁移学习参数集；将Mini‑DenseNet级别的迁移学习参数集迁移到Mini‑DenseNet模型内；利用第二训练样本对Mini‑DenseNet模型进行训练，得到Mini‑DenseNet分类器。

Description

一种通过迁移学习实现轻量级图像分类的方法

技术领域

本发明涉及计算机视觉和图像处理领域，尤其涉及一种通过迁移学习实现轻量级图像分类的方法。

背景技术

人工智能的发展，带动世界的进步。迁移学习好比让一个孩子自主学会一项技能一样，通过计算机编程设计来让电脑像人一样，学会一样技能，提高机器的分辨判断能力。随着人工智能的不断进步，它在分类领域的作用越来越大。尤其是在计算机视觉这块，通过卷积神经网络CNN中的密集连接的卷积神经网络DenseNet，来处理flower_photos图像数据集中8030张图像的分类问题。引入迁移学习，使DenseNet轻量级框架得到实现。

在人工智能带动下，深度学习取得了巨大突破，在卷积神经网络CNN这块，2012年AlexNet在图像分类上处于世界前列，2014年的GoogleNet架构超越了AlexNet架构。而2015年的ResNet架构分类处理上远胜之前的架构。在大规模的ILSVRC 2012(ImageNet)数据集中，DenseNet实现了与ResNet类似的精度，但使用的参数量不到一半，大约是FLOP数量的一半。所以，ResNet胜在网络的深度上面，通过深层次的网络可以准确匹配目标函数，DenseNet架构通过聚类解决了ResNet架构中参数数量和过拟合等问题。DenseNet框架是卷积神经网络的框架，通过对DenseNet框架中迁移学习方法Tradaboosting的改进，改进后的CNN-Tradaboosting，可以在卷积神经网络中进行，在flower_photos图像数据集的6个分组实验上，相比于CNN-Tradaboosting(迁移学习框架)提升了2.8％-3.5％，减少了至少30％的训练时间，降低了发生负迁移的风险。

对于从零训练的AlexNet迁移学习框架，通过对flower_photos图像数据集进行分类任务的准确率为：89.76～90.28％；SVM-AlexNet迁移学习的准确率为94.29～94.85％；GoogleNet迁移学习的准确率为91.71～92.05％；Mini-DenseNet是DenseNet的轻量级框架。

发明内容

本发明的目的在于提供一种通过迁移学习实现轻量级图像分类的方法，能够不平等的DenseNet框架与Mini-DenseNet框架之间的迁移学习转化问题。

为实现上述目的，本发明提供一种通过迁移学习实现轻量级图像分类的方法，包括：

初始化DenseNet模型结构；

利用第一训练样本对DenseNet模型进行训练，得到DenseNet分类器；

对DenseNet分类器中图像的特征进行提取，得到DenseNet分类器的特征参数集；

初始化轻量化的DenseNet架构Mini-DenseNet模型结构；

通过降维的方法，将DenseNet分类器的特征参数集处理为Mini-DenseNet级别的迁移学习参数集；

通过迁移学习方法，将Mini-DenseNet级别的迁移学习参数集迁移到Mini-DenseNet模型内；

利用第二训练样本对Mini-DenseNet模型进行训练，得到Mini-DenseNet分类器。

在一个优选的实施例中，所述通过降维的方法，将DenseNet分类器的特征参数集处理为Mini-DenseNet级别的迁移学习参数集包括：

将纹理特征的像素参数转换为矩阵；

对参数按照识别像素重要度进行排序；

将重要度排名前N位的参数确定为Mini-DenseNet级别的迁移学习参数集。

在一个优选的实施例中，所述通过迁移学习方法，将Mini-DenseNet级别的迁移学习参数集迁移到Mini-DenseNet模型内包括：

借助CNN-TradaBoosting迁移学习方法，通过CNN-TradaBoosting权重结合损失函数，将Mini-DenseNet级别的迁移学习参数集迁移到Mini-DenseNet模型内。

本发明通过对参数进行映射处理，在保留其特征值参数的情况下，进行参数的框架转换，使其可以通过CNN-Tradaboosting将DenseNet训练的特征参数转移到Mini-DenseNet。解决了不平等的DenseNet框架与Mini-DenseNet框架之间的迁移学习转化问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例提供的一种通过迁移学习实现轻量级图像分类的方法的流程图；

图2是基于DenseNet的轻量级图像分类框架的流程图；

图3是本发明的DenseNet框架下执行分类任务的流程图；

图4是DenseNet的流程图；

图5是Mini-DenseNet的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1示出了本发明实施例提供的通过迁移学习实现轻量级图像分类的方法的流程图，图2是基于DenseNet的轻量级图像分类框架的流程图，图3是本发明的DenseNet框架下执行分类任务的流程图，图4是DenseNet的流程图，图5是Mini-DenseNet的流程图。请同时参见图1至图5，该方法包括：

步骤S101：初始化DenseNet模型结构。

输入flower_photos图像数据集M，包括训练集Q和测试集T；判断数据集是否是256*256的像素，如果不是256*256像素，需要对flower_photos图像数据集M进行Matlab圆形提取和方形切割，进行符号型数据处理；确定M内的数据均为256*256的像素，设计DenseNet模型结构。

具体地，对获取的8030张flower_photos图像数据集进行预处理。

首先，对像素进行去隐私处理，第一步，对图像大小进行统一，采用3048*2432大小的图像，第二步采用Matlab对图像进行圆形提取和矩形切割，目的是为了消除图像上面的个人相关信息。

具体的DenseNet模型的设计环节可以如下：

对flower_photos图像数据集进行分类的DenseNet模块由8个Dense Block和7个Transition Layer组成,是Scale1网络的主要结构。首先,对于图像初始化部分,用多个3×3卷积层替换7×7卷积层、池化层,用小卷积核替换大卷积核,减少参数与计算量；其次,针对各个Dense Block的输出通道数,通过实验对比,最终将各层输出通道数从上至下确定为6、12、48、32、88、36、64、42；然后,对于Transition Layer,采用了3×3卷积层替换池化层；最后,删除了DenseNet网络结构末尾的全局池化层和用于分类的全连接层,替换为性能更好的1×1的卷积层。

上采样设置过程：DenseNet的上采样模块将7×7卷积核拆分为4个大小为4×4、3×4、4×3、3×3的卷积核,直接在原图上进行操作,跳过0值的处理,然后将4个输出结果进行交错连接,获得输出结果。同时,在此基础上,添加了激活函数(Relu)、归一化函数以及卷积层,组合成上采样模块。

DenseNet表达式为：

x_l＝H_l([x₀,x₁,x₂,,,,.x_l-1])；l＝8

步骤S102:利用第一训练样本对DenseNet模型进行训练，得到DenseNet分类器，对DenseNet分类器中图像的特征进行提取，得到DenseNet分类器的特征参数集。

将M放入DenseNet进行训练。通过采用灰度共生矩阵和Tamura相结合的算法提取flower_photos图像数据集的图像纹理特征，训练样本的马氏距离，采用最小距离准则进行分类，判断出哪些像素是flower_photos图像数据集的特征像素。得到分类器T，T内的像素可以作为对flower_photos图像按照形状Shape，颜色Color，尺寸Size，属性Attribute这四个等级进行分类。

通过把灰度共生矩阵GLCM特征值和Tamura特征值融合在一个矩阵，增加特征值维度来实现灰度共生矩阵GLCM和Tamura两种方法的融合，并将单一GL-CM、Tamura、灰度共生矩阵GLCM和GLCM+Tamura作为特征提取的对比算法。通过上述步骤，共获得420幅图像作为样本，从训练集Q中随机抽取200幅作为训练样本，剩下100幅作为测试样本。分类时，首先提取测试样本的纹理特征，然后计算其与各训练样本的马氏距离，采用最小距离准则进行分类。采用分类正确率、误识率和拒识率作为算法性能的评价指标，三个指标之和应为1，即C+R+E＝1。

通过上述方法，得到flower_photos图像数据集集分类器T。T中含有的flower_photos图像研flower_photos图像，可以用来进行分类使用的像素特征。分类器T中四种flower_photos图像类型(形状Shape，颜色Color，尺寸Size，属性Attribute)的Tamura纹理特征进行提取，可以得到参数集：

P_4种状态＝{a，b，c,...,η}

步骤S103：初始化轻量化的DenseNet架构Mini-DenseNet模型结构。

具体地，对flower_photos图像数据集进行分类的Mini-DenseNet模块由5个DenseBlock和4个Transition Layer组成,是Scale1网络的主要结构。首先,对于图像初始化部分,用多个3×3卷积层替换5×5卷积层、池化层,用小卷积核替换大卷积核,减少参数与计算量；其次,针对各个Dense Block的输出通道数,通过实验对比,最终将各层输出通道数从上至下确定为3、9、21、15、6然后,对于Transition Layer,采用了3×3卷积层替换池化层；最后,删除了DenseNet网络结构末尾的全局池化层和用于分类的全连接层,替换为性能更好的1×1的卷积层。

上采样设置：DenseNet的上采样模块将5×5卷积核拆分为4个大小为3×3、2×3、3×2、2×2的卷积核,直接在原图上进行操作,跳过0值的处理,然后将4个输出结果进行交错连接,获得输出结果。同时,在此基础上,添加了激活函数(Relu)、归一化函数以及卷积层,组合成上采样模块。

Mini-DenseNet表达式为：

z_m＝H_l([z₀,z₁,z₂,,,,.z_m-1])；l＝8,m＝5

步骤S104：通过降维的方法，将DenseNet分类器的特征参数集处理为Mini-DenseNet级别的迁移学习参数集。

将特征参数P进行转码操作，得到z′个参数集P′＝{a′,b′,c′,...,η′}，具体过程如下：

首先获得28个特征参数集：

P_Shape＝{m₁,n₁,p₁,...,σ₁}

P_Color＝{m₂,n₂,p₂,...,σ₂}

P_Size＝{m₃,n₃,p₃,...,σ₃}

P_Attribute＝{m₄,n₄,p₄,...,σ₄}

之后，将纹理特征的像素参数转换为矩阵：

根据8个Dense Block和7个Transition Layer得到P的特征参数矩阵D，其中4×(l-1)；l＝8,m＝5，即一个4×7的矩阵，表示为：

将P中28个参数经过转码后，得到P′的16个参数。

对l个参数按照识别像素重要性进行排序：

按照这个式子对4×(l-1)；l＝8,m＝5中的28个参数识别准确率进行作差，得到

在这个式子中，α表示DenseNet框架对flower_photos图像flower_photos图像分类任务的准确率。β表示去掉m₁₁这个参数后DenseNet框架对flower_photos图像flower_photos图像分类任务的准确率。

之后将28个参数的

得到，由大到小的顺序依次进行排序。若出现

这样的情况，如果在前4×(m-1)；其中l＝8,m＝5的16个值内，则二者都取，如果排名恰好处于m，只需按照

的方式随机选取。

根据Mini-DenseNet中存在5个Dense Block和4个Transition Layer得到P的特征参数矩阵D′，其中4×(m-1)；l＝8,m＝5，即一个4×4的矩阵D′。

通过选取l中排名前前4×(m-1)；其中l＝8,m＝5的16个参数，然后将16个参数依次分配到D′中，得到完整的参数矩阵，表示为：

将D′转换为Mini-DenseNet中的参数P′＝{a′,b′,c′,...,η′}，P′内有16个参数：

P′_Shape＝{m₁,n₁,p₁,...,σ₁}

P′_Color＝{m₂,n₂,p₂,...,σ₂}

P′_Size＝{m₃,n₃,p₃,...,σ₃}

P′_Attribute＝{m₄,n₄,p₄,...,σ₄}

最后，得到P′＝{m,n,p,...,σ}。

步骤S105：通过迁移学习方法，将Mini-DenseNet级别的迁移学习参数集迁移到Mini-DenseNet模型内。

CNN-TradaBoosting迁移学习采取了基于特征的无监督学习：自学习聚类。其中，CNN-TradaBoosting是TradaBoosting的改进方法。是专门对Mini-DenseNet进行迁移学习而设计的。

首先在数据集M中的测试集T中抽取两个子集T₁和T₂，和一个未标注的测试数据集T_x，其中T＝T₁∪T₂∪T_x。

CNN-TradaBoosting权重定义：

其中：i＝1,2,3,...,n

其中：j＝1,2,3,...,m

其中：通过权重W结合损失函数BerHu，将P′＝{m,n,p,...,σ}迁移到Mini-DenseNet中。

步骤S106：利用第二训练样本对Mini-DenseNet模型进行训练，得到Mini-DenseNet分类器。

将测试集T输入到Mini-DenseNet中进行训练。

为了验证此模型的优化效果,本文选择在flower_photos图像数据集M的测试集T上对模型进行训练、测试。flower_photos图像数据集M是国内医院flower_photos图像真实数据,该数据集是由8030张RGB为256*256像素的图片组成。该数据集按照病情分为4类情况,每个情况有8种特征，8030个对象。本文训练集Q与测试集T的划分比例为236:221,将原始的256×256-RGB图与深度图降采样至128×128作为模型输入,并通过预处理忽略图片中深度信息缺省的像素356张。本专利对训练图像进行G-filter操作，避免Mini-DenseNet过拟合,提升泛化能力。

实验设备是一台显卡为GTX-1060-6G的PC,使用GPU加速的TensorFlow-1.8框架。网络训练使用随机训练梯度下降优化模型参数,具体的超参置如下:批处理大小(batchsize)为8,最大迭代轮数(max epoch)为1000,学习率(learning rate)为0.001,学习率每经过20轮迭代衰83％,直至网络收敛。整个模型训练耗时约为120个小时,CNN前向过程占时约2.1秒。

若最大迭代轮数(max epoch)为2000,学习率(learning rate)为0.02,学习率每经过20轮迭代衰72％,直至网络收敛。整个模型训练耗时约为18个小时,CNN前向过程占时约3.4秒。

经过多次不同学习率的训练，在学习率[0.001,0.03]的区间内表现优异，因此，Mini-DenseNet框架具有可行性。

选取损失函数：在深度学习中，选择正确的损失函数可以获得更好的训练效果。

DenseNet选择了L₂损失函数：L₂损失函数是以最小化预测结果与真实值差的欧式范数平方作为收敛方向，函数定义如下所示：

当预测值与真实值差异较大时,L₂损失函数能迅速下降梯度,收敛速度很快。当预测值接近真实值时,L₂损失函数收敛速度大大减小,梯度下降缓慢。

Mini-DenseNet框架采用了BerHu损失函数，将L₁与L₂损失函数结合，得到更好的收敛性能。如下所示：

Berhu函数以c作为界限,在大于c时以L₂损失函数工作,使梯度迅速下降,在小于c时以L₁损失函数工作,保证预测值与真实值近似，同时也保持了一定的梯度下降速度。本专利将设定为

并对k分别取0.1，0.2，0.5进行尝试，当k＝0.5可以得到最佳输出结果。

最后得到flower_photos图像数据集的分类结果，按照需求，将flower_photos图像数据集M分配到对应的4个级别中，完成flower_photos图像的诊断工作。

将将8030张flower_photos图像数据集分类到不同的文件夹内Shape＝4439张，Color＝2163张，Size＝647张，Attribute＝385张。其分类任务的准确性为：

综上所述，本专利的框架是在基于CNN的DenseNet框架基础上，通过迁移学习的方法CNN-Tradaboosting改进的对flower_photos图像flower_photos图像进行分类的Mini-DenseNet框架。该框架可以将flower_photos图像按照不同等级进行分类，分类准确率达到了接近95％。

Mini-DenseNet框架是DenseNet框架的映射，它和原有的DenseNet不具有相同的规模，是它的迷你版。DenseNet的轻量级框架：Mini-DenseNet在GPU的使用上要比原框架节30％。

在迁移学习中，只有同级别的神经网络框架间才能通过迁移学习的方式来进行经参数的迁移。本发明通过对参数进行映射处理，在保留其特征值参数的情况下，进行参数的框架转换，使其可以通过CNN-Tradaboosting将DenseNet训练的特征参数转移到Mini-DenseNet。解决了不平等的DenseNet框架与Mini-DenseNet框架之间的迁移学习转化问题。

请注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (3)

1.一种通过迁移学习实现轻量级图像分类的方法，其特征在于，包括：

初始化DenseNet模型结构；

利用第一训练样本对DenseNet模型进行训练，得到DenseNet分类器；

对DenseNet分类器中图像的特征进行提取，得到DenseNet分类器的特征参数集；

初始化轻量化的DenseNet架构Mini-DenseNet模型结构；

通过降维的方法，将DenseNet分类器的特征参数集处理为Mini-DenseNet级别的迁移学习参数集；

通过迁移学习方法，将Mini-DenseNet级别的迁移学习参数集迁移到Mini-DenseNet模型内；

利用第二训练样本对Mini-DenseNet模型进行训练，得到Mini-DenseNet分类器。

2.如权利要求1所述的方法，其特征在于，所述通过降维的方法，将DenseNet分类器的特征参数集处理为Mini-DenseNet级别的迁移学习参数集包括：

将纹理特征的像素参数转换为矩阵；

对参数按照识别像素重要度进行排序；

将重要度排名前N位的参数确定为Mini-DenseNet级别的迁移学习参数集。

3.如权利要求1所述的方法，其特征在于，所述通过迁移学习方法，将Mini-DenseNet级别的迁移学习参数集迁移到Mini-DenseNet模型内包括：

借助CNN-TradaBoosting迁移学习方法，通过CNN-TradaBoosting权重结合损失函数，将Mini-DenseNet级别的迁移学习参数集迁移到Mini-DenseNet模型内。

Images