CN113436200A - 基于轻量分割卷积网络的rgb图像分类方法 - Google Patents

Abstract

本发明提出了一种基于轻量分割卷积网络的RGB图像分类方法，实现步骤为：(1)获取训练样本集R₁和测试样本集E₁；(2)构建轻量分割卷积网络；(3)构建基于轻量分割卷积网络的图像分类模型H；(4)对基于轻量分割卷积网络的图像分类模型H进行迭代训练；(5)获取RGB图像的分类结果。本发明多个轻量分割卷积网络可以将最大池化得到的高维特征分割成两个不重叠的子特征，然后用不同的卷积层分别对两个子特征进行特征提取，避免了现有技术在整体特征的基础上进行特征提取导致的未充分抑制深度学习网络对于冗余特征的自适应提取的缺陷，有效提高了RGB图像的分类精度。

Description

基于轻量分割卷积网络的RGB图像分类方法

技术领域

本发明属于图像处理技术领域，涉及一种RGB图像分类方法，具体涉及一种基于轻量分割卷积网络的RGB图像分类方法，可用于目标识别、行为识别和基于图像内容的图像检索。

背景技术

图像分类是一种根据不同类别的目标各自在图像信息中所反映的不同特征，把不同类别的图像区分开来的图像处理方法。图像分类可分为基于传统特征的分类方法和基于机器学习的分类方法，基于传统特征的分类方法是基于色彩、纹理、形状、空间关系等图像特征对图像目标进行分类。

随着机器学习在各个领域的广泛应用，RGB图像分类也出现了多种基于深度学习的分类方法，如自编码器AE(Autoencoder)、生成对抗网络GAN(Generative AdversarialNets)、深度残差网络ResNet(Residual Neural Network)、深度信念网络DBN(Deep BeliefNetwork)等。基于机器学习的RGB图像分类方法并不需要人工提取特征以及过多专业知识，能够通过神经网络模型的训练自动稳健地提取图像特征，从而取得很好的分类结果，得到了研究人员的广泛应用。

由于机器学习网络提取特征的方式是自适应的，导致其所提取的特征冗余度高，进而影响深度学习网络对RGB图像进行准确分类，为了抑制特征冗余度高对RGB图像分类准确率的影响，例如，申请公布号为CN113111970A，名称为“通过构建全局嵌入式注意力残差网络对图像分类的方法”的专利申请，公开了一种通过构建全局嵌入式注意力残差网络对RGB图像进行分类的方法，该方法首先将待分类的RGB图像数据进行预处理，构建包括基于全局上下文的空间注意力子模块和基于坐标的通道注意力子模块的全局嵌入式注意力模块，构建包括1个输入层、1个卷积核大小为7×7的卷积层、1个最大池化层、全局嵌入式注意力模块、2个全连接层和1个输出层的全局嵌入式注意力残差网络，然后将预处理后的待分类RGB图像数据输入全局嵌入式注意力残差网络进行训练及测试，得到RGB图像目标的分类结果。该方法在深度学习网络中加入了基于全局上下文的空间注意力子模块和基于坐标的通道注意力子模块，因而可以提高有效特征的权重，降低冗余特征的权重，解决了RGB图像分类方法中特征冗余度过高影响RGB图像准确分类所造成的分类精度低的问题，但是由于该方法是在整体特征的基础上采用注意力模块来降低特征的冗余度，仍未充分抑制深度学习网络对于冗余特征的自适应提取，导致对RGB图像分类的精度依然较低。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出一种基于轻量分割卷积网络的RGB图像分类方法，用于解决现有技术中存在的分类精度较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练样本集R₁和测试样本集E₁：

(1a)获取包含T个目标类别的K幅RGB图像，每个目标类别对应I幅RGB图像，其中，T≥2，K≥20，I≥10；

(1b)随机选取每个目标类别对应RGB图像中的半数以上组成数据集R₀，并对R₀中每幅RGB图像的目标进行标记后，对经过标记的每幅RGB图像进行预处理，再将所有经过预处理的RGB图像组成训练样本集R₁，同时将除R₀以外的其他RGB图像组成测试样本集E₁；

(2)构建轻量分割卷积网络：

构建包括顺次连接的第一卷积层、特征切片层、堆叠层、第三卷积层的轻量分割卷积网络，特征切片层与堆叠层之间加载有并行排布的TFP层和第二卷积层，TFP层和第二卷积层的输出端各连接有一个第一全局平均池化层；TFP层包括两个并行连接的第四卷积层；

(3)构建基于轻量分割卷积网络的图像分类模型H：

构建包括依次层叠的第五卷积层、最大池化层、Q个轻量分割卷积网络、第二全局平均池化层和全连接层的图像分类模型H，Q≥2；

(4)对基于轻量分割卷积网络的图像分类模型H进行迭代训练：

(4a)初始化迭代次数为s，最大迭代次数为S，S≥200，第s次迭代的图像分类模型为H_s，H_s的权值参数为ω_s，并令s＝1，H_s＝H；

(4b)将从训练样本集R₁中有放回且随机选取的M个训练样本作为基于轻量分割卷积网络的图像分类模型H_s的输入，第五卷积层对每个训练样本进行卷积，最大池化层对每个训练样本卷积得到的高维特征f进行最大池化，Q个轻量分割卷积网络对最大池化得到的高维特征F进行特征提取，第二全局平均池化层对Q个轻量分割卷积网络所提取的高维特征F^*进行平均池化，全连接层对平均池化后的高维特征F₁ ^*进行分类，得到预测标签集合y＝{y₁,y₂,...,y_m,...,y_M}，其中，M≥2，y_m表示第m个训练样本对应的预测标签；

(4c)采用交叉熵损失函数，并通过每个预测标签y_m和其对应的真实标签

计算H_s的损失值L_s，然后求取L_s对权值参数ω_s的偏导

再采用梯度下降法，通过将

在H_s中进行反向传播的方式对权值参数ω_s进行更新；

(4d)判断s≥S是否成立，若是，得到训练好的图像分类模型H*，否则，令s＝s+1，并执行步骤(4b)；

(5)获取RGB图像的分类结果：

将测试样本集E₁作为训练好的图像分类模型H*的输入进行前向传播，得到所有测试样本的预测标签。

本发明与现有技术相比，具有如下优点：

本发明所构建的图像分类模型包含有多个轻量分割卷积网络，在对图像分类模型进行迭代训练，以及获取RGB图像的分类结果的过程中，多个轻量分割卷积网络可以将最大池化得到的高维特征分割成两个不重叠的子特征，然后用不同的卷积层分别对两个子特征进行特征提取，避免了现有技术在整体特征的基础上进行特征提取导致的未充分抑制深度学习网络对于冗余特征的自适应提取的缺陷，有效提高了RGB图像的分类精度。

附图说明

图1为本发明的实现流程图；

图2为本发明构建的轻量分割卷积网络的结构示意图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述：

参照图1，本发明包括如下步骤：

步骤1)获取训练样本集R₁和测试样本集E₁：

步骤1a)从ImageNet图像分类数据集中获取包含T个目标类别的K幅RGB图像，每个目标类别对应I幅RGB图像，其中，T≥2，K≥20，I≥10；在本实施例中，T＝1000，K＝500000。

步骤1b)随机选取每个目标类别对应RGB图像中的80％以上组成数据集R₀，并对R₀中每幅RGB图像的目标进行标记后，对经过标记的每幅RGB图像进行预处理，再将所有经过预处理的RGB图像组成训练样本集R₁，同时将除R₀以外的其他RGB图像组成测试样本集E₁。

对经过标记的每幅RGB图像进行预处理，实现步骤为：对经过标记的每幅RGB图像围绕其竖直方向的中心轴进行水平翻转，并对经过水平翻转的RGB图像的亮度、对比度和饱和度随机进行调整，实现对每幅RGB图像的预处理。

步骤2)构建轻量分割卷积网络，其结构如图2所示：

轻量分割卷积网络包括顺次连接的第一卷积层、特征切片层、堆叠层、第三卷积层的轻量分割卷积网络，特征切片层与堆叠层之间夹杂有并行排布的TFP层和第二卷积层，TFP层和第二卷积层的输出端各连接有一个第一全局平均池化层；TFP层包括两个并行连接的第四卷积层。

轻量分割卷积网络所包含的各卷积层的参数设置为：第一、第二、第三卷积层的卷积核大小均为1，卷积步长均为1，第一和第二卷积层卷积核的个数为64，第三卷积层卷积核的个数为256；TFP层所包含的两个第四卷积层卷积核的大小分别为3和1，卷积核的个数均为64，卷积步长均为1。

步骤3)构建基于轻量分割卷积网络的图像分类模型H：

构建包括依次层叠的第五卷积层、最大池化层、Q个轻量分割卷积网络、第二全局平均池化层和全连接层的图像分类模型H，Q≥2；在本实施例中，Q＝33。

基于轻量分割卷积网络的图像分类模型H所包含的第五卷积层和最大池化层的参数设置为：第五卷积层、最大池化层卷积核的大小分别为7、3，第五卷积层和最大池化层卷积核的个数均为64，卷积步长均为2。

步骤4)对基于轻量分割卷积网络的图像分类模型H进行迭代训练：

步骤4a)初始化迭代次数为s，最大迭代次数为S，S≥200，第s次迭代的图像分类模型为H_s，H_s的权值参数为ω_s，并令s＝1，H_s＝H；在本实施例中，S＝300。

步骤4b)将从训练样本集R₁中有放回且随机选取的M个训练样本作为基于轻量分割卷积网络的图像分类模型H_s的输入，第五卷积层对每个训练样本进行卷积，最大池化层对每个训练样本卷积得到的高维特征f进行最大池化，Q个轻量分割卷积网络对最大池化得到的高维特征F进行特征提取，第二全局平均池化层对Q个轻量分割卷积网络所提取的高维特征F^*进行平均池化，全连接层对平均池化后的高维特征F₁ ^*进行分类，得到预测标签集合y＝{y₁,y₂,...,y_m,...,y_M}，其中，M≥2，y_m表示第m个训练样本对应的预测标签；在本实施例中，M＝64。

Q个轻量分割卷积网络对最大池化得到的高维特征F进行特征提取，实现步骤为：

步骤4b1)初始化Q个轻量分割卷积网络为D＝{D₁,D₂,...,D_q,...,D_Q}，并令q＝1；

步骤4b2)第一卷积层对最大池化得到的高维特征F进行卷积，特征切片层按照比例α将第一卷积层卷积后的特征F_q'分割成不重叠的特征F_1q和特征F_2q，其中，α≥0.1；在本实施例中，α＝0.5；

步骤4b3)令F_2q＝0，TFP层中的一个第四卷积层对F_1q进行逐点卷积，另一个第四卷积层对F_1q进行组卷积，得到由逐点卷积结果Y_1q和组卷积结果Y_2q组成的TFP层的输出结果Y_tq＝Y_1q+Y_2q，令F_1q＝0，第二卷积层对F_2q进行逐点卷积，得到输出结果Y_cq，其中：

其中

表示逐点卷积的参数值，N表示Y_1q的通道数，a表示F_1q的通道数，x_1q～x_aq表示F_1q中的各个特征；

表示组卷积的参数值，G表示组卷积的分组数量，z_1q～z_Gq表示将F_1q分组后各组的特征；

表示逐点卷积的参数值，x_a+1,q～x_C,q表示F_2q中的各个特征；

步骤4b4)与TFP层连接的第一全局平均池化层对Y_tq进行全局平均池化，得到Y_tq的特征向量β_tq，并通过β_tq和Y_tq计算增强后的特征

同时与第二卷积层连接的第一全局平均池化层对Y_cq进行全局平均池化，得到Y_cq的特征向量β_cq，并通过β_cq和Y_cq计算增强后的特征

其中：

步骤4b5)堆叠层将

和

堆叠成增强特征Y_q，第三卷积层对Y_q进行卷积，得到D_q的输出特征

步骤4b6)判断q＝Q是否成立，若是，得到高维特征F对应的高维特征F^*，

否则，令q＝q+1，

并执行步骤(4b2)。

步骤4c)采用交叉熵损失函数，并通过每个预测标签y_m和其对应的真实标签

计算H_s的损失值L_s，然后求取L_s对权值参数ω_s的偏导

再采用梯度下降法，通过将

在H_s中进行反向传播的方式对权值参数ω_s进行更新；

计算H_s的损失值L_s、对权值参数ω_s进行更新，计算、更新分别为：

其中,ln表示以自然常数e为底的对数，

表示ω_s的更新结果，η表示L_s的学习率，

表示求导操作；

步骤4d)判断s≥S是否成立，若是，得到训练好的图像分类模型H*，否则，令s＝s+1，并执行步骤(4b)。

步骤5)获取RGB图像的分类结果：

将测试样本集E₁作为训练好的图像分类模型H*的输入进行前向传播，得到所有测试样本的预测标签。

本发明所构建的RGB图像分类网络模型，其中包含的轻量分割卷积网络可以将输入特征分割成两个不重叠的子特征，然后用不同的卷积层分别对两个子特征进行特征提取，有效抑制了深度学习网络对于冗余特征的自适应提取，进一步提升了深度学习网络对RGB图像分类的能力，所以本发明的分类精度要明显优于现有技术。

下面结合仿真实验，对本发明的技术效果作进一步的描述。

1.仿真条件和内容：

仿真实验使用的硬件平台为CPU

Xeon(R)E5-2609，主频2.4GHz，8G RAM。软件平台为Python3.7和PyCharm 2019.3.3x64。操作系统为Ubuntu 16.04LTS x64。

仿真实验中用到的RGB图像数据集为ImageNet数据集。该数据集中的RGB图像采集自互联网，图像大小不一。ImageNet数据集包含21841个类别的14197122幅RGB图像，仿真实验中选取其中的1000个类别的500000幅RGB图像组成一个子数据集，且在子数据集中选取每个目标类别对应RGB图像中的80％以上组成数据集R₀，将进行预处理后的R₀组成训练样本集R₁，同时将除R₀以外的其他RGB图像组成测试样本集E₁。

对本发明与现有的基于全局嵌入式注意力残差网络的RGB图像分类方法的分类精度进行对比仿真，其结果如表1所示。

2.仿真结果分析：

参照表1，本发明在测试样本集E₁上的分类精度为79.65％，现有技术在测试样本集E₁上的分类精度为76.8％。本发明相对于现有技术，分类精度提高了2.85％。

表1

评价指标	本发明	GEARN
			分类准确率(％)	79.65	76.8

综合上述仿真实验中的结果分析，本发明提出的方法能有效地解决传统深度卷积神经网络中无法充分抑制深度学习网络对于冗余特征的自适应提取的问题，进一步解决深度卷积神经网络对RGB图像分类精度低的问题。

Claims (6)

1.一种基于轻量分割卷积网络的RGB图像分类方法，其特征在于，包括如下步骤：

(1)获取训练样本集R₁和测试样本集E₁：

(1a)获取包含T个目标类别的K幅RGB图像，每个目标类别对应I幅RGB图像，其中，T≥2，K≥20，I≥10；

(1b)随机选取每个目标类别对应RGB图像中的半数以上组成数据集R₀，并对R₀中每幅RGB图像的目标进行标记后，对经过标记的每幅RGB图像进行预处理，再将所有经过预处理的RGB图像组成训练样本集R₁，同时将除R₀以外的其他RGB图像组成测试样本集E₁；

(2)构建轻量分割卷积网络：

构建包括顺次连接的第一卷积层、特征切片层、堆叠层、第三卷积层的轻量分割卷积网络，特征切片层与堆叠层之间加载有并行排布的TFP层和第二卷积层，TFP层和第二卷积层的输出端各连接有一个第一全局平均池化层；TFP层包括两个并行连接的第四卷积层；

(3)构建基于轻量分割卷积网络的图像分类模型H：

构建包括依次层叠的第五卷积层、最大池化层、Q个轻量分割卷积网络、第二全局平均池化层和全连接层的图像分类模型H，Q≥2；

(4)对基于轻量分割卷积网络的图像分类模型H进行迭代训练：

(4a)初始化迭代次数为s，最大迭代次数为S，S≥200，第s次迭代的图像分类模型为H_s，H_s的权值参数为ω_s，并令s＝1，H_s＝H；

(4b)将从训练样本集R₁中有放回且随机选取的M个训练样本作为基于轻量分割卷积网络的图像分类模型H_s的输入，第五卷积层对每个训练样本进行卷积，最大池化层对每个训练样本卷积得到的高维特征f进行最大池化，Q个轻量分割卷积网络对最大池化得到的高维特征F进行特征提取，第二全局平均池化层对Q个轻量分割卷积网络所提取的高维特征F^*进行平均池化，全连接层对平均池化后的高维特征F₁ ^*进行分类，得到预测标签集合y＝{y₁,y₂,...,y_m,...,y_M}，其中，M≥2，y_m表示第m个训练样本对应的预测标签；

(4c)采用交叉熵损失函数，并通过每个预测标签y_m和其对应的真实标签

计算H_s的损失值L_s，然后求取L_s对权值参数ω_s的偏导

再采用梯度下降法，通过将

在H_s中进行反向传播的方式对权值参数ω_s进行更新；

(4d)判断s≥S是否成立，若是，得到训练好的图像分类模型H*，否则，令s＝s+1，并执行步骤(4b)；

(5)获取RGB图像的分类结果：

将测试样本集E₁作为训练好的图像分类模型H*的输入进行前向传播，得到所有测试样本的预测标签。

2.根据权利要求1所述的基于轻量分割卷积网络的RGB图像分类方法，其中特征在于，步骤(1b)中所述的对经过标记的每幅RGB图像进行预处理，实现步骤为：

对经过标记的每幅RGB图像围绕其竖直方向的中心轴进行水平翻转，并对经过水平翻转的RGB图像的亮度、对比度和饱和度随机进行调整，实现对每幅RGB图像的预处理。

3.根据权利要求1所述的基于轻量分割卷积网络的RGB图像分类方法，其特征在于，步骤(2)中所述的轻量分割卷积网络，其所包含的各卷积层的参数设置为：

第一、第二、第三卷积层的卷积核大小均为1，卷积步长均为1，第一和第二卷积层卷积核的个数为64，第三卷积层卷积核的个数为256；

TFP层所包含的两个第四卷积层卷积核的大小分别为3和1，卷积核的个数均为64，卷积步长均为1。

4.根据权利要求1所述的基于轻量分割卷积网络的RGB图像分类方法，其中特征在于，步骤(3)中所述的基于轻量分割卷积网络的图像分类模型H，其所包含的第五卷积层和最大池化层的参数设置为：

第五卷积层、最大池化层卷积核的大小分别为7、3，第五卷积层和最大池化层卷积核的个数均为64，卷积步长均为2。

5.根据权利要求1所述的基于轻量分割卷积网络的RGB图像分类方法，其特征在于，步骤(4b)中所述的Q个轻量分割卷积网络对最大池化得到的高维特征F进行特征提取，实现步骤为：

(4b1)初始化Q个轻量分割卷积网络为D＝{D₁,D₂,...,D_q,...,D_Q}，并令q＝1；

(4b2)第一卷积层对最大池化得到的高维特征F进行卷积，特征切片层按照比例α将第一卷积层卷积后的特征F_q'分割成不重叠的特征F_1q和特征F_2q，其中，α≥0.1；

(4b3)令F_2q＝0，TFP层中的一个第四卷积层对F_1q进行逐点卷积，另一个第四卷积层对F_1q进行组卷积，得到由逐点卷积结果Y_1q和组卷积结果Y_2q组成的TFP层的输出结果Y_tq＝Y_1q+Y_2q，令F_1q＝0，第二卷积层对F_2q进行逐点卷积，得到输出结果Y_cq，其中：

其中

表示逐点卷积的参数值，N表示Y_1q的通道数，a表示F_1q的通道数，x_1q～x_aq表示F_1q中的各个特征；

表示组卷积的参数值，G表示组卷积的分组数量，z_1q～z_Gq表示将F_1q分组后各组的特征；

表示逐点卷积的参数值，x_a+1,q～x_C,q表示F_2q中的各个特征；

(4b4)与TFP层连接的第一全局平均池化层对Y_tq进行全局平均池化，得到Y_tq的特征向量β_tq，并通过β_tq和Y_tq计算增强后的特征

同时与第二卷积层连接的第一全局平均池化层对Y_cq进行全局平均池化，得到Y_cq的特征向量β_cq，并通过β_cq和Y_cq计算增强后的特征

其中：

(4b5)堆叠层将

和

堆叠成增强特征Y_q，第三卷积层对Y_q进行卷积，得到D_q的输出特征

(4b6)判断q＝Q是否成立，若是，得到高维特征F对应的高维特征F^*，

否则，令q＝q+1，

并执行步骤(4b2)。

6.根据权利要求1所述的基于轻量分割卷积网络的RGB图像分类方法，其特征在于，步骤(4c)中所述的计算H_s的损失值L_s、对权值参数ω_s进行更新，计算、更新分别为：

其中,ln表示以自然常数e为底的对数，

表示ω_s的更新结果，η表示L_s的学习率，

表示求导操作。

Images