CN111985370A - 一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法 - Google Patents

Abstract

本发明公开了一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法，先输入农作物病虫害图片，预处理后经过卷积层进行特征提取，向前传播过程使用Inception思想结合残差连接的结构，将卷积层得到的特征图F作为注意力I_CBAM的输入，得到权值M_C(F)和M_S(F)；最后得到特征图F₂，用softmax函数产生最终的预测概率。为了提高病虫害识别模型的准确率并及时对病虫害进行检测，本发明对混合注意力CBAM进行改进，通过通道注意力与空间注意力的并行连接结构，解决了串行连接通道注意力和空间注意力产生的干扰的问题，在使添加注意力后的病虫害细粒度识别模型准确率的提升更加稳定的同时，也保证了I_CBAM在不同模型直接的泛化性。

Description

一种基于改进混合注意力模块的农作物病虫害的细粒度识别 方法

技术领域

本发明涉及计算机视觉技术领域，尤其是一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法。

背景技术

植物在我国的各大自然灾害中，农作物病虫害占据着非常重要的地位，因此，需要及时对其进行预测和监控，以防止重大灾害的发生。

然而，病虫害灾害的发生与种植制度、作物布局和气候趋势等因素息息相关，普通农户于小规模的种植，进行病虫害预测难度很大。防治一种病虫害往往有多达十余种农药可供选择，每种农药所造成的环境污染和温室气体排放量也不尽相同。同时，同一种病虫害所经历的不同阶段、病害程序也需要应用相对应的防治方法。所以，我们需要准确地识别和检测病虫害的种类和严重程度之后，再对症下药，从而最大程度地减少环境污染和最大化病虫害防治效果。

另一方面，中小型农户即使对于同一种作物也往往使用不同的方法，这样种植模式的不统一，也给专业化的大规模防控提升了难度。因此，想要真正地对农作物病虫害进行有效地防治，就需要种植户在第一时间对农作物病虫害进行及时的检测，快速鉴别之后，对病虫害实施有效地防治手段。而应对这种情况，自动化程度高且应用起来无需农户掌握大量专业知识的计算机视觉技术是一个极佳的选择。

传统的机器学习方法，通常经过病斑提取、边缘特征提取等步骤，最后利用支持向量机分类。然而，传统机器学习方法对图像的预处理步骤繁多且复杂，并且只能应用于个别植物的少量病虫害检测，可迁移性差。因此，在病虫害图片数据日益充足的条件下，伴随着深度学习技术的发展，成功解决了传统机器学习需要显式提取病虫害特征和可迁移性差的问题。利用深度学习技术泛化性强的特点，能够同时对种类繁多地病虫害进行识别检测，大大提高了防治的准确率和防治速度。并且，通过在模型中添加注意力模块，又可进一步提高模型的识别准确率。

卷积神经网络中的注意力可分为空间域、通道域和混合域。其中，空间域和通道域是软注意力所关注的地方。而混合域则是将上述的两种不同注意力组合起来。2018年提出的Convolutional Block Attention Module(简称CBAM)就是将卷积模块中的空间注意力和通道注意力进行混合，成为channel→spatial的顺序注意力结构，能够嵌入在卷积操作的之后，即插即用，非常容易移植。

然而在实际应用中，无论是先启用通道注意力后启用空间注意力(channel→spatial，即CBAM)，还是先启用空间注意力后启用通道注意力(spatial→channel,即reverse CBAM，简称R_CBAM)。排序在后的(spatial/channel attention)的权值，都是由排序在前的(channel/spatial attention)加权结果的特征图产生的。而在这个过程中，我们认为排序在前的注意力把原始的特征图“修饰”了。即排序在后的注意力机制所学习的到是被“修饰”过的特征图，因此在一定程度上干扰排序在后的注意力模块学习所到的特征。尤其在细粒度分类任务中，这种由于“串行连接”而产生的干扰，会使注意力模块的效果变得不稳定，对于准确率的提升也难以保证。

发明内容

针对现有技术的不足，本发明提供一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法，本发明通过对CBAM的串行注意力模块进行改进，将原来的“串行连接(cascade)”改为“并行(parallel)连接”，使两种注意力模块都直接学习原始的特征图，从而无需关注空间注意力和通道注意力的顺序。

本发明的技术方案为：一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法，包括以下步骤：

S1)、输入RGB三通道的农作物病虫害图片，对其进行预处理；

S2)、将步骤S1)处理后图片经过卷积层特征进行特征提取，随后利用小尺度3×3的最大池化层做进一步的特征抽象，即：

x_out＝Relu(BN(Conv_1×1(x_in)))

x_out＝Relu(BN(Conv_3×3(x_in)))；

x_out＝Relu(BN(Conv_5×5(x_in)))

x_out＝Maxpool_3×3(x_in)

x_out＝GlobalMaxpool(x_in)；

式中，x_out表示输出特征图，x_in表示输入特征图，Relu(BN(Conv_1×1(x_in)))表示对输入特征图经过1×1的卷积核提取特征，然后经过BN层批标准化，随后使用Relu函数激活，Maxpool_3×3(x_in)表示对输入特征图经过3×3的最大池化层，GlobalMaxpool(x_in)表示输入特征图经过自适应特征图尺寸的全局最大池化层；

S3)、向前传播过程使用Inception思想结合残差连接的结构，增加神经网络的宽度和深度，减少映射区间，保留原图细节，即：

x_out＝Inception(x_in)

F＝h(x_in)+x_out；

式中，h(x_in)代表输入特征图乘上相应属于0～1范围内的权值。

S4)、将卷积层得到的特征图F作为注意力I_CBAM的输入，分别经过channelattention和spatial attention得到相应的权值M_C(F)和M_S(F)；

其中，M_C(F)代表通道注意力，M_S(F)代表空间注意力；

S5)、利用步骤S4)得到的两个权值M_C(F)和M_S(F)，直接与原始输入特征图F加权得到输出特征图F₁，即：

S6)、利用步骤S5)得到的输出特征图F₁与原始输入特征图F进行残差连接，得到结果特征图F₂；

S7)、利用全连接层进行产生输出后用softmax函数产生最终的预测概率，P值代表的经过softmax函数分类后模型对于分类y_i的判断概率，即：

式中，y_i代表具体的第i个类别，n表示类别的总数。

优选的，步骤S1)中，对所述的RGB三通道的农作物病虫害图片进行预处理具体包括如下步骤：

S101)、对农作物病虫害图片随机采用双线性插值法、最近邻居法、双三次插值法和面积插值法4种方法对图片进行处理，并将其缩放为224×224操作；

S102)、将图片随机进行水平和垂直翻转，从而达到数据增强的目的。

优选的，步骤S4)中，所述的M_C(F)，M_S(F)的计算具体如下：

S401)、先由经过空间维度全局平均池化和全局最大池化压缩特征图F，然后经过多层感知机得到最终权值，即：

M_C(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

S402)、先由经过通道维度的全局平均池化和全局最大池化压缩特征图，然后经过7×7卷积核的提取得到最终权值，即：

式中，σ代表sigmoid函数，MLP(AvgPool(F))代表对输入特征图经过平均池化压缩成一维然后经过多层感知机产生的更多非线性特征，MLP(MaxPool(F))表示对输入特征图经过最大池化压缩成一维然后经过多层感知机产生的更多非线性特征，W₁表示具体到第2层全连接上的权重，W₀表示具体到第1层全连接层上的权重，

表示通道注意力中被平均池化压缩后的一维向量，

表示通道注意力中被最大池化压缩后的一维向量，f表示卷积操作，AvgPool(F)代表对输入特征图进行通道维度上的平均池化，MaxPool(F)表示对输入特征图进行通道维度上的最大池化，

表示特征图被空间注意力经过平均池化压缩成深度为1的特征图，

表示表示特征图被空间注意力经过最大池化压缩成深度为1的特征图。

优选的，步骤S6)中，所述的结果特征图F₂的计算具体如下：

S601)、由特征图直接输入，通过h函数得到相应的残差h(x_in)；

S602)、步骤S5)得到的输出特征图F₁与残差h(x_in)相加，得到输出特征图F₂。

本发明的有益效果为：

1、本发明采用Inception和残差学习思想构建卷积网络，能够减少映射区间，保留原图细节；

2、本发明通过通道注意力与空间注意力的并行连接结构，解决了传统混合注意力模块串行连接两种注意力产生的干扰问题，无需关注不同注意力的顺序问题；

3、本发明通过将I_CBAM中通道注意力压缩比例调整为32，进一步使添加了I_CBAM的Mobilenet-v2迁移学习模型的内存大小缩小至28.3MB，且预测一张图片的平均用时仅为7.18ms，应用成本非常低。

附图说明

图1为本发明构建的细粒度病虫害图片识别框架图；

图2为发明构建的改进混合注意力模块CBAM(I_CBAM)结构图；

图3为本发明处理结果与现有算法对比结果示意图；

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

实施例1

如图1和2所示，本实施例提供一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法，包括以下步骤：

S1)、输入RGB三通道的农作物病虫害图片，对其进行预处理，具体包括如下步骤：

S101)、对农作物病虫害图片随机采用双线性插值法、最近邻居法、双三次插值法和面积插值法4种方法对图片进行处理，并将其缩放为224×224操作；

S102)、将图片随机进行水平和垂直翻转，从而达到数据增强的目的。

S2)、将步骤S1)处理后图片经过卷积层特征进行特征提取，随后利用小尺度3×3的最大池化层做进一步的特征抽象，即：

式中，x_out表示输出特征图，x_in表示输入特征图，Relu(BN(Conv_1×1(x_in)))表示对输入特征图经过1×1的卷积核提取特征，然后经过BN层批标准化，随后使用Relu函数激活，Maxpool_3×3(x_in)表示对输入特征图经过3×3的最大池化层，GlobalMaxpool(x_in)表示对输入特征图经过自适应特征图尺寸的全局最大池化层；

S3)、向前传播过程使用Inception思想结合残差连接的结构，增加神经网络的宽度和深度，减少映射区间，保留原图细节，即：

式中，h(x_in)代表输入特征图乘上相应属于0～1范围内的权值。

S4)、将卷积层得到的特征图F作为注意力I_CBAM的输入，分别经过channelattention和spatial attention得到相应的权值M_C(F)和M_S(F)；

其中，M_C(F)代表通道注意力，M_S(F)代表空间注意力；

所述的M_C(F)，M_S(F)的计算具体如下：

S401)、先由经过空间维度全局平均池化和全局最大池化压缩特征图F，然后经过多层感知机得到最终权值，即：

M_C(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

S402)、先由经过通道维度的全局平均池化和全局最大池化压缩特征图，然后经过7×7卷积核的提取得到最终权值，即：

式中，σ代表sigmoid函数，MLP(AvgPool(F))代表对输入特征图经过平均池化压缩成一维然后经过多层感知机产生的更多非线性特征，MLP(MaxPool(F))表示对输入特征图经过最大池化压缩成一维然后经过多层感知机产生的更多非线性特征，W₁表示具体到第2层全连接上的权重，W₀表示具体到第1层全连接层上的权重，

表示通道注意力中被平均池化压缩后的一维向量，

表示通道注意力中被最大池化压缩后的一维向量。

S5)、利用步骤S4)得到的两个权值M_C(F)和M_S(F)，直接与原始输入特征图F加权得到输出特征图F₁，即：

S6)、利用步骤S5)得到的输出特征图F₁与原始输入特征图F进行残差连接，得到结果特征图F₂；

所述的结果特征图F₂的计算具体如下：

S601)、由特征图直接输入，通过h函数得到相应的残差h(x_in)；

S602)、步骤S5)得到的输出特征图F₁与残差h(x_in)相加，得到输出特征图F₂。

S7)、利用全连接层进行产生输出后用softmax函数产生最终的预测概率，P值代表的经过softmax函数分类后模型对于分类y_i的判断概率，即：

式中，y_i代表具体的第i个类别，n表示类别的总数。

实施例2

本实施例所用的数据集选取了由上海新客科技和创新工场联合打造的部分农作物病虫害图片，数据集中包含草莓、樱桃和苹果等10种作物的10种健康状态和27种病虫害，其中的27种病虫害又进一步分为”一般”和”严重”两种(例如：“苹果黑星病一般”和“苹果黑星病严重”)，共计61类。本实施例所用数据集总共累计农作物病虫害图片36258张，数据集的完整标签如表1。

表1农作物病虫害数据集的分类标签

在此基础上，本实施例将图片分成训练集与测试集，其中，训练集包含31718张图片，测试集包含4540张图片，数据集图片大部分图片的像素大小约在300×400，也存在部分像素为2kd的分辨率的图片；因此，为了满足卷积神经网络输入大小，本实施例将图片统一缩放为像素大小为224×224，然后在此基本上进行数据增强操作。

通常条件下，用于训练的图片越多，训练的模型的精度就越高，其鲁棒性和泛化性也越强。而数据增强，是深度学习中常用的数据扩充方法。因此，本实施例在模型训练时随机使用双线性插值法、最近邻居法、双三次插值法和面积插值法4种方法对图片进行缩放操作，又将图片随机进行水平和垂直翻转，从而将训练数据集扩充至507488张，最后将图片进行归一化以提高模型学习速度。模型测试时，为了保证测试结果的稳定，测试图片仅进行双线性插值法缩放和归一化的操作。

本实施例中，网络损失函数为均方误差，批次大小为32，使用指数衰减学习率的方式，初始值为0.01，衰减系数为0.94，每个epoch衰减一次，训练迭代轮次数为50epochs，优化器选择自适应学习率优化算法Adam。

本实施例使用的软硬件环境如表2

表2软硬件环境

本实施例在模型对比的指标上，采用不同的分类划分标准，使用表3中的8个指标来判断模型的优劣。本实施例主要以“Top-1准确率”和“病害程度准确率”作为判断模型效果的标准。

表3模型判断指标

实验结果

表4为本实施例Inception-Resnet-v2嵌入各注意力模块实验结果

表5 Mobilenet-v2嵌入各注意力模块实验结果对比

Mobilenet-v2加入各注意力模块后的激活热力图如附图3。

上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法，其特征在于，包括以下步骤：

S1)、输入RGB三通道的农作物病虫害图片，对其进行预处理；

S2)、将步骤S1)预处理后图片经过卷积层进行特征提取，随后利用小尺度3×3的最大池化层做进一步的特征抽象，即：

式中，x_out表示输出特征图，x_in表示输入特征图，Relu(BN(Conv_1×1(x_in)))表示对输入特征图经过1×1的卷积核提取特征，然后经过BN层批标准化，随后使用Relu函数激活，Maxpool_3×3(x_in)表示对输入特征图经过3×3的最大池化层，GlobalMaxpool(x_in)表示输入特征图经过自适应特征图尺寸的全局最大池化层；

S3)、向前传播过程使用Inception思想结合残差连接的结构，增加神经网络的宽度和深度，减少映射区间，保留原图细节，即：

式中，h(x_in)表示对输入特征图乘上相应属于0～1范围内的权值；

S4)、将卷积层得到的特征图F作为注意力I_CBAM的输入，分别经过channel attention和spatial attention得到相应的权值M_C(F)和M_S(F)；

其中，M_C(F)代表通道注意力，M_S(F)代表空间注意力；

S5)、利用步骤S4)得到的两个权值M_C(F)和M_S(F)，直接与原始输入特征图F加权得到输出特征图F₁，即：

S6)、利用步骤S5)得到的输出特征图F₁与原始输入特征图F进行残差连接，得到结果特征图F₂；

S7)、利用全连接层进行产生输出后用softmax函数产生最终的预测概率，P值代表的经过softmax函数分类后模型对于分类y_i的判断概率，即：

式中，y_i代表具体的第i个类别，n表示类别的总数。

2.根据权利要求1所述的一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法，其特征在于：步骤S1)中，对所述的RGB三通道的农作物病虫害图片进行预处理具体包括如下步骤：

S101)、对农作物病虫害图片随机采用双线性插值法、最近邻居法、双三次插值法和面积插值法4种方法对图片进行处理，并将其缩放为224×224操作。

3.根据权利要求2所述的一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法，其特征在于：步骤S1)中，对所述的RGB三通道的农作物病虫害图片进行预处理还包括：

S102)、将步骤S101)处理后的图片随机进行水平和垂直翻转，从而达到数据增强的目的。

4.根据权利要求1所述的一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法，其特征在于：步骤S4)中，所述的M_C(F)的计算具体如下：

S401)、先由经过空间维度全局平均池化和全局最大池化压缩特征图F，然后经过多层感知机得到最终权值，即：

式中，式中，σ代表sigmoid函数，MLP(AvgPool(F))代表对输入特征图经过平均池化压缩成一维然后经过多层感知机产生的更多非线性特征，MLP(MaxPool(F))表示对输入特征图经过最大池化压缩成一维然后经过多层感知机产生的更多非线性特征，W₁表示具体到第2层全连接上的权重，W₀表示具体到第1层全连接层上的权重，

表示通道注意力中被平均池化压缩后的一维向量，

表示通道注意力中被最大池化压缩后的一维向量。

5.根据权利要求1所述的一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法，其特征在于：步骤S4)中，所述的M_S(F)的计算具体如下：

S402)、先由经过通道维度的全局平均池化和全局最大池化压缩特征图，然后经过7×7卷积核的提取得到最终权值，即：

式中，σ代表sigmoid函数，f表示卷积操作，AvgPool(F)代表对输入特征图进行通道维度上的平均池化，MaxPool(F)表示对输入特征图进行通道维度上的最大池化，

表示特征图被空间注意力经过平均池化压缩成深度为1的特征图，

表示表示特征图被空间注意力经过最大池化压缩成深度为1的特征图。

6.根据权利要求1所述的一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法，其特征在于：步骤S6)中，所述的结果特征图F₂的计算具体如下：

S601)、由特征图直接输入，通过h函数得到相应的残差h(x_in)；

S602)、步骤S5)得到的输出特征图F₁与残差h(x_in)相加，得到输出特征图F₂。

Images