CN113159159A - 一种基于改进cnn的小样本图像分类方法 - Google Patents

Abstract

本发明提供一种基于改进CNN的小样本图像分类方法，涉及图像分类技术领域。本发明通过对浅层卷积神经网络进行分析，构建了一个针对小样本图像分类任务的模型。在数据预处理过程中，较大程度保留图像原始信息的情况下，又增加了图像的变化，有效地减轻了网络的过拟合，分类模型的效果得到了显著的提升，十分适用于小样本数据分类。与原始分类模型相比，本发明的分类效果有了明显的提升。

Description

一种基于改进CNN的小样本图像分类方法

技术领域

本发明涉及图像分类技术领域，尤其涉及一种基于改进CNN的小样本图像分类方法。

背景技术

图像分类是根据目标在图像信息中反映出的不同特征，把不同类别的目标区分开的一种图像处理方法。数字化图像可以通过计算机算法，自动分析出各个区域的特征，将其分成若干类别。

传统的图像分类算法有多种类别。基于颜色的图像分类，将差别小的相邻像素归为一类。由于每一类物体都有其独特的颜色特征，利用颜色对比度差异，可以将一幅图像分成几个类别。基于纹理的图像分类，通过像素的邻域灰度空间分布规律来进行分类，灰度共生矩阵是对图像做纹理特征提取的一种常用统计分析方法。传统的图像分类方法，通常提取图像的底层特征进行分类，例如颜色，纹理，形状，位置等。然而，底层的信息有多种提取方法，易受人的主观程度影响。并且，图像分类很大程度上是由高级的语义特征来决定的，仅凭底层的图像信息，无法有效的对图像建模。

卷积神经网络(Convolutional Neural Networks,CNN)是一种包含卷积操作的前馈神经网络，能较好地提取图像的特征，基于深度卷积神经网络的图像分类方法，通过大量的数据来建模物体的分布，无需手动设计特征，就能够自动地学习图像的特征来进行分类。卷积层相当于传统的滤波器，非常适合于图像数据。近年来深度学习取得了巨大的成功，在Imagenet等大型图像数据集上，不断地刷新记录，首次突破了人工分类的结果。深度学习方法是一种数据驱动的方法，往往需要大量的数据集来进行特征学习。然而，在一些领域收集这样巨大的数据量往往十分困难。医学影像中，由于不同的影像设备和隐私保护的需要，难以收集大量的同种影像数据。故障诊断中，自然发生的情况少，难以通过实验获取大量的数据。这些情况限制了深度神经网络的应用。

针对小样本数据集，深度学习分类效果差的问题，通常使用迁移学习和数据增强方法来解决。研究发现，深度网络的浅层特征属于图像共有的底层特征，不随任务的改变而发生巨大的变化。迁移学习方法，首先在大型数据集上进行分类任务的预训练，然后保留卷积层的参数，在小样本数据集上进行微调。然而，医学影像和自然图像的差别十分巨大，医学影像通常为灰度图，自然图像为三通道彩色图。对小样本医学影像数据集进行迁移时，自然图像学习到的特征很难迁移到医学影像。同时网络的参数量也远大于小样本数据集的数量，使得卷积神经网络参数冗余，浪费大量的硬件空间，容易造成过拟合。此外进行迁移学习时，很难找到适合的网络结构、微调的参数和固定卷积的层数，有很多的不确定性，需要依次实验，耗费大量的时间。

数据增强方法，广泛应用于深度学习中。通过对原始图像做一些变换，如剪切，旋转，平移，翻转等，使得网络能够针这些微小的变化，做出稳定的预测。由于卷积神经网络需要输入相同大小的数据，数据增强中需要对数据做出归一化操作。现有的图像大小归一化方法主要有尺度改变(resize)和剪裁(crop)，这些方法简单且便于实现，但有时无法对原始图像做出多样化的改变。

发明内容

针对现有技术的不足，本发明提供一种基于改进CNN的小样本图像分类方法。

本发明的技术方案为，一种基于改进CNN的小样本图像分类方法，包括以下步骤：

步骤1：对样本图像进行预处理，将样本图像转换成统一的PNG格式；

步骤2：分析处理后的样本图像的像素值分布，计算数据的均值和标准差；

设x表示样本图像，x_i表示样本图像的每个像素点值，像素点总数为n，计算像素的均值

以及像素的标准差S公式如下：

步骤3：使用基于RCR(RCR为Resize调整尺寸-Crop剪裁-Resize调整尺寸)的数据增强策略，对处理后的样本图像进行尺寸调整、垂直翻转、水平翻转和旋转，根据均值和标准差进行图像的像素值归一化；

步骤3.1：将处理后的样本图像最短边调整尺寸至256大小，使用双三次插值算法，将另一边调整成保持原始图像纵横比的对应大小；

步骤3.2：在处理后的样本图像中心处进行随机剪裁图像；

步骤3.3：将处理后的样本图像Resize调整尺寸至224*224大小；

步骤3.4：以50％的概率对处理后的样本图像进行垂直翻转；

步骤3.5：以50％的概率对处理后的样本图像进行水平翻转；

步骤3.6：将处理后的样本图像进行随机旋转0-30°；

步骤3.7：使用均值和标准差对处理后的样本图像进行像素值归一化，归一化的计算如下：

输出[通道]＝(输入[通道]–均值[通道])/标准差[通道]

输入处理后的样本图像，减去求得的图像均值，再除以标准差；

步骤4：将步骤3中输出的样本图像输入至卷积神经网络，训练CNN-1CL卷积神经网络，直到网络趋于收敛；

所述CNN-1CL卷积神经网络共有三层，第一层由3个1*1的卷积层和Relu激活函数组成，后接四个由7*7的卷积层、Relu激活函数、批归一化(BN)和最大池化层(Max-Pool)组成的模块，其中四个7*7的卷积层步长为1，通道数分别是32，64，128，256，每一个卷积层后都添加一个Relu激活函数，批归一化的参数默认是eps＝0.00001，momentum＝0.1，最大池化层的卷积核的大小是2*2，CNN-1CL卷积神经网络的最后两层分别为全局平均池化层和全连接层，其中全连接层的输入通道数为256，输出通道数为2，CNN-1CL卷积神经网络的所有权重都是从kaiming(凯明)均匀分布中采样来进行随机初始化；

其中所述Relu为非线性激活函数，函数的输入为x，输出为y，使得输入负值变为0，其余值保持不变，来增加网络的非线性的表达：

y＝max(0,x)

CNN-1CL卷积神经网络的输出为二维向量z_j，j＝1,2分别表示图像属于正例和负例的权重大小，数值越大代表可能性越高，所述softmax函数，将网络输出的二维向量z_j，压缩到(0，1)之间，并且向量z的两个分量和为1，softmax输出P(y＝j|x)表示图像x属于正例和负例的概率；

步骤5：使用CNN-1CL卷积神经网络对测试集进行训练与测试，输出预测结果，实现小样本数据集的准确自动分类；所述测试集包括正例和负例的待测图片；

CNN-1CL卷积神经网络的输入大小为3*224*224，batch size为32，使用交叉熵作为损失函数H，如下式所示：

H(x，q)＝-∑_xp(x)logq(x)

其中x为输入数据，p为图像的真实标签分布，q为模型预测的标签分布；优化器为Adam，学习率为0.001，betas＝(0.9，0.999)。模型训练使用动态学习率调整策略，学习率每100轮下降一半，共训练1000轮。

测试集图片通过resize和crop调整到3*224*224。将网络输出概率最大的值的类别作为预测标签，使用真实标签进行评价指标的计算。

采用上述技术方法所产生的有益效果在于：

本发明提供一种基于改进CNN的小样本图像分类方法，通过对浅层卷积神经网络进行分析，构建了一个针对小样本图像分类任务的模型。在数据预处理过程中，提出了一种新型的基于Resize-Crop-Resize(简称为RCR)的数据增强方法，在较大程度保留图像原始信息的情况下，又增加了图像的变化，有效地减轻了网络的过拟合。此外，本发明提出了一种改进卷积神经网络(CNN-1CL，1CL表示1*1卷积层)的分类模型，通过首端设计的3个1*1的卷积，和一个Relu激活函数，增加了原图像的非线性变化。本发明创新性的在模型的首端使用1*1卷积，对原始图片的各个通道进行线性加权，并增加一个Relu函数，来增加图像的非线性表示。使得网络可以端到端的对图像进行自适应的再一次增强，相当于加强了适用于网络分类任务的图像各项特征，通过在网络第一层使用1*1卷积，在不明显增加网络参数量的前提下，分类模型的效果得到了显著的提升，十分适用于小样本数据分类。与原始分类模型相比，本发明的分类效果有了明显的提升。

附图说明

图1为本发明分类方法流程图；

图2为本发明RCR数据增强方法

图3为本发明图像预处理整体流程图

图4为本发明CNN-1CL整体网络结构图

图5为本发明实施例中1*1卷积层示意图

图6为本发明1*1卷积层效果示意图；

图7为本发明7*7卷积层示意图

图8为本发明Relu激活函数示意图

图9为本发明最大池化示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的技术方案为，一种基于改进CNN的小样本图像分类方法，如图1所示，包括以下步骤：

步骤1：对样本图像进行预处理，将样本图像转换成统一的PNG格式；

步骤2：分析处理后的样本图像的像素值分布，计算数据的均值和标准差；

设x表示样本图像，x_i表示样本图像的每个像素点值，像素点总数为n，计算像素的均值

以及像素的标准差S公式如下：

步骤3：使用基于RCR(RCR为Resize调整尺寸-Crop剪裁-Resize调整尺寸)的数据增强策略，对处理后的样本图像进行尺寸调整、垂直翻转、水平翻转和旋转，根据均值和标准差进行图像的像素值归一化；

先将图像短边Resize成256，然后使用随机Crop，对图像中心处进行随机剪裁，最后再对图像进行第二次Resize操作，图像尺寸变为224*224。如图2所示，RCR在保留大量图像信息的前提下，增加了图像的变化，有效的缓解了小样本的过拟合问题，取得了不错的增强效果。它独立于其他数据增强方法，可以与其他方法进行随意的组合，简单有效，容易实现。

本发明中的图像预处理整体流程如图3所示。收集的数据格式统一成相同PNG格式，计算出像素的均值和标准差。

步骤3.1：将处理后的样本图像最短边调整尺寸至256大小，使用双三次插值算法，将另一边调整成保持原始图像纵横比的对应大小；

步骤3.2：在处理后的样本图像中心处进行随机剪裁图像；

步骤3.3：将处理后的样本图像Resize调整尺寸至224*224大小；

步骤3.4：以50％的概率对处理后的样本图像进行垂直翻转；

步骤3.5：以50％的概率对处理后的样本图像进行水平翻转；

步骤3.6：将处理后的样本图像进行随机旋转0-30°；

步骤3.7：使用均值和标准差对处理后的样本图像进行像素值归一化，归一化的计算如下：

输出[通道]＝(输入[通道]–均值[通道])/标准差[通道]

输入处理后的样本图像，减去求得的图像均值，再除以标准差；像素值归一化可以使网络训练更稳定，鲁棒性更强。基于RCR的数据增强方法，在保留了大量图像信息的前提下，增加了图像的多样性。

步骤4：将步骤3中输出的样本图像输入至卷积神经网络，训练CNN-1CL卷积神经网络，直到网络趋于收敛；

CNN-1CL整体网络结构图如图4所示，输入图片大小为3*224*224，所述CNN-1CL卷积神经网络共有三层，第一层由3个1*1的卷积层和Relu激活函数组成，后接四个由7*7的卷积层、Relu激活函数、批归一化(BN)和最大池化层(Max-Pool)组成的模块，其中四个7*7的卷积层步长为1，通道数分别是32，64，128，256，每一个卷积层后都添加一个Relu激活函数，批归一化的参数默认是eps＝1e-05，momentum＝0.1，最大池化层的卷积核的大小是2*2，CNN-1CL卷积神经网络的最后两层分别为全局平均池化层和全连接层，全连接层的输入通道数为256，输出通道数为2，CNN-1CL卷积神经网络的输出为二维向量z_j，j＝1,2分别表图像属于正例和负例的权重大小，数值越大代表可能性越高，所占的大小经过softmax函数，将网络输出的二维向量z_j，压缩到(0，1)之间，并且向量z的两个分量和为1。softmax输出P(y＝j|x)表示图像属于正例和负例的概率；CNN-1CL卷积神经网络的所有权重都是从kaiming(凯明)均匀分布中采样来进行随机初始化；

其中所述Relu为非线性激活函数，函数的输入为x，输出为y，使得输入负值变为0，其余值保持不变，来增加网络的非线性的表达，如图8所示。

y＝max(0,x)

CNN-1CL卷积神经网络的输出为二维向量z_j，j＝1,2分别表示图像属于正例和负例的权重大小，数值越大代表可能性越高。softmax函数，将网络输出的二维向量z_j，压缩到(0，1)之间，并且向量z的两个分量和为1。softmax输出P(y＝j|x)表示图像x属于正例和负例的概率。

1*1的卷积层如图5所示，应用于卷积神经网络中，在所用参数量较少的情况下，对图像中间特征进行升维，降维。本发明创新性的在模型的首端使用1*1卷积，对原始图片的各个通道进行线性加权，并增加一个Relu函数，来增加图像的非线性表示。使得网络可以端到端的对图像进行自适应的再一次增强，相当于加强了适用于网络分类任务的图像各项特征。1*1卷积的效果如图6所示，通过在网络第一层使用1*1卷积，在不明显增加网络参数量的前提下，分类模型的效果得到了显著的提升，十分适用于小样本数据分类。

为了解决小样本分类任务，本发明使用了浅层的卷积神经网络架构，避免深层网络参数量过大，容易过拟合。模型组件的介绍如下。卷积核大小为7*7的卷积，如图7所示，用于提取图像特征。Relu激活函数如图8所示，可以过滤响应为负数的参数，增加模型的非线性。批标准化通过统计每一个batch的均值和方差进行归一化，来加快网络的训练和收敛的速度，控制梯度爆炸，防止梯度消失，减少过拟合，十分适用于小样本分类任务。卷积核为2*2的最大池化层，如图9所示，丢弃网络中的较小参数，减轻网络的过拟合效应。在小样本数据分类任务中，相比于其他模型，CNN-1CL模型的参数量小，分类效果更好。

步骤5：使用CNN-1CL卷积神经网络对测试集进行训练与测试，输出预测结果，实现小样本数据集的准确自动分类；所述测试集包括正例和负例的待测图片；

CNN-1CL卷积神经网络的输入大小为3*224*224，batch size为32，使用交叉熵作为损失函数H，如下式所示：

H(x，q)＝-∑_xp(x)logq(x)

其中x为输入数据，p为图像的真实标签分布，q为模型预测的标签分布；优化器为Adam，学习率为0.001，betas＝(0.9，0.999)。模型训练使用动态学习率调整策略，学习率每100轮下降一半，共训练1000轮。

测试集图片通过resize和crop调整到3*224*224。将网络输出概率最大的值的类别作为预测标签，使用真实标签进行评价指标的计算。

本发明通过设计基于RCR的数据增强方法，很大程度上保留了原始图像信息，增加了图像的多样性，减少了网络的过拟合。提出的基于卷积神经网络的CNN-1CL分类模型，通过网络第一层的3组1*1卷积和Relu激活函数，提升了图像特征的学习效果，提高了网络的分类效果。本发明使用一组小样本影像数据进行二分类实验，样本数分别为正例592张和负例625张，使用五折交叉验证。评价指标分别为准确率(ACC)、召回率(Recall)、加权调和平均数(F1)、ROC曲线下的面积(AUC)，测试结果如下：

表1测试结果

模型	ACC	Recall	F1	AUC
					CNN	0.844	0.842	0.846	0.921
CNN-1CL	0.861	0.900	0.868	0.929

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (3)

1.一种基于改进CNN的小样本图像分类方法，其特征在于，包括以下步骤：

步骤1：对样本图像进行预处理，将样本图像转换成统一的PNG格式；

步骤2：分析处理后的样本图像的像素值分布，计算数据的均值和标准差；

设x表示样本图像，x_i表示样本图像的每个像素点值，像素点总数为n，计算像素的均值

以及像素的标准差S公式如下：

步骤3：使用基于RCR(RCR为Resize调整尺寸-Crop剪裁-Resize调整尺寸)的数据增强策略，对处理后的样本图像进行尺寸调整、垂直翻转、水平翻转和旋转，根据均值和标准差进行图像的像素值归一化；

步骤4：将步骤3中输出的样本图像输入至卷积神经网络，训练CNN-1CL卷积神经网络，直到网络趋于收敛；

步骤5：使用CNN-1CL卷积神经网络对测试集进行训练与测试，输出预测结果，实现小样本数据集的准确自动分类；所述测试集包括正例和负例的待测图片；

所述CNN-1CL卷积神经网络的输入大小为3*224*224，batch size为32，使用交叉熵作为损失函数H，如下式所示：

H(x，q)＝-Σ_xp(x)log q(x)

其中x为输入数据，p为图像的真实标签分布，q为模型预测的标签分布；优化器为Adam，学习率为0.001，betas＝(0.9，0.999)，模型训练使用动态学习率调整策略，学习率每100轮下降一半；

测试集图片通过resize和crop调整到3*224*224；将网络输出概率最大的值的类别作为预测标签，使用真实标签进行评价指标的计算。

2.根据权利要求1所述的一种基于改进CNN的小样本图像分类方法，其特征在于，所述CNN-1CL卷积神经网络共有三层，第一层由3个1*1的卷积层和Relu激活函数组成，后接四个由7*7的卷积层、Relu激活函数、批归一化(BN)和最大池化层(Max-Pool)组成的模块，其中四个7*7的卷积层步长为1，通道数分别是32，64，128，256，每一个卷积层后都添加一个Relu激活函数，批归一化的参数默认是eps＝0.00001，momentum＝0.1，最大池化层的卷积核的大小是2*2，CNN-1CL卷积神经网络的最后两层分别为全局平均池化层和全连接层，其中全连接层的输入通道数为256，输出通道数为2，CNN-1CL卷积神经网络的所有权重都是从kaiming(凯明)均匀分布中采样来进行随机初始化；

其中所述Relu为非线性激活函数，函数的输入为x，输出为y，使得输入负值变为0，其余值保持不变，来增加网络的非线性的表达：

y＝max(0，x)

CNN-1CL卷积神经网络的输出为二维向量z_j，j＝1，2分别表示图像属于正例和负例的权重大小，数值越大代表可能性越高，所述softmax函数，将网络输出的二维向量z_j，压缩到(0，1)之间，并且向量z的两个分量和为1，softmax输出P(y＝j|x)表示图像x属于正例和负例的概率；

3.根据权利要求1所述的一种基于改进CNN的小样本图像分类方法，其特征在于，所述步骤3具体包括以下步骤：

步骤3.1：将处理后的样本图像最短边调整尺寸至256大小，使用双三次插值算法，将另一边调整成保持原始图像纵横比的对应大小；

步骤3.2：在处理后的样本图像中心处进行随机剪裁图像；

步骤3.3：将处理后的样本图像Resize调整尺寸至224*224大小；

步骤3.4：以50％的概率对处理后的样本图像进行垂直翻转；

步骤3.5：以50％的概率对处理后的样本图像进行水平翻转；

步骤3.6：将处理后的样本图像进行随机旋转0-30°；

步骤3.7：使用均值和标准差对处理后的样本图像进行像素值归一化，归一化的计算如下：

输出[通道]＝(输入[通道]–均值[通道])/标准差[通道]

输入处理后的样本图像，减去求得的图像均值，再除以标准差。

Images