CN114677606A - 基于注意力机制和双分支网络的柑橘细粒度病害识别方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的双分支网络的柑橘细粒度病害智能识别方法，具体采用CBAM注意力机制用于增强提取柑橘病害专业化特征的能力，并通过构建双分支网络，设计浅层分支以更好的提取柑橘病害的细节纹理、轮廓等信息，运用SE注意力模块将双分支网络融合后的特征进行通道权重的重分配，以实现针对柑橘病虫害微小病斑的精准分割，最后针对不同病害的呈现形式，分别采用计算病斑与叶片面积占比和计算病斑个数的方式判断病害的病情严重程度。本发明的方法具有较高的分割精度，能够精准的分割叶片病斑，同时针对病害的病情程度可以做到相对自主客观的判别。

Description

基于注意力机制和双分支网络的柑橘细粒度病害识别方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于注意力机制和双分支网络的柑橘细粒度病害识别方法。

背景技术

我国是一个农业强国，农业是我国国民经济的重要基础产业。而在农业实际生产活动中面临的主要挑战之一就是农作物病虫害的频发。柑橘是全球最重要的经济作物之一，但在其种植过程中，容易受到其生长的地理、气象环境、病原微生物、病毒和细菌的影响而导致病虫害的爆发。在我国已知的柑橘病害就有150余种，其中危害较重的病害主要有疮痂病、炭疽病、黄龙病、溃疡病、褐斑病等。这些病症多发生在植株叶片部位，若不采取及时的防治措施，病情大面积爆发后会严重影响柑橘产量及品质，同时给果农带来巨大的经济损失。因此，及时准确的发现并识别出柑橘病害种类及其病害程度极其重要，实现对病害准确的监测不仅有利于病害的防控，也对柑橘产业健康稳定发展起着至关重要的作用。

截至目前，针对柑橘病害的智能检测识别主要集中在对柑橘黄龙病、溃疡病的单病种快速检测和柑橘病害果实的识别，针对多病种的柑橘智能识别研究鲜少可见，且目前柑橘病害识别大都是针对病害种类的粗粒度识别，针对其病情程度的细粒度病虫害识别鲜少研究。近几年针对农作物细粒度病害的研究主要包含基于分类的方法和基于分割的方法，而采用分类对数据集的数量要求较高，并且严重依赖于先验数据标注的准确率，其判定结果只会与数据集的标注划分相同，无法根据诊断标准变化来自主的调节细粒度病害的诊断结果。而采用分割的方法可以通过计算病斑占叶片面积的比例等方式实现细粒度病虫害的精准判定，相对于分类可以根据病情标准的变化实现对病情程度的动态调整，目前常用分割算法有U-Net、PSP Net和DeepLab系列等，但在柑橘细粒度病害上的分割精度还有待提高。

发明内容

为解决现有技术存在的上述问题，本发明提出了一种基于注意力机制和双分支网络的柑橘细粒度病害识别方法。

本发明的技术方案是：一种基于注意力机制和双分支网络的柑橘细粒度病害识别方法，具体包括如下步骤：

S1.构建柑橘细粒度病虫害数据集；

S2.对ResNet-50的池化层进行改进，以改进的金字塔池化替换网络原最大池化层，在第五个卷积块后加入CBAM注意力机制，作为双分支网络的深层分支，用于提取柑橘病虫害相关的特征；

S3.构建双分支网络中的另一浅层分支，提取柑橘病虫害的细节纹理信息；

S4.将步骤S2和S3构建的双分支网络提取到的特征进行特征融合，加入SE注意力机制进行通道权重的重分配；

S5.采用步骤S1得到的数据集对注意力机制-双分支网络模型进行训练；

S6.设计细粒度病害判别标准；

S7.将待识别的柑橘病害图像输入经过步骤S5操作的模型中，得到柑橘所患病害种类及其细粒度病害程度。

进一步的，步骤S1具体包括如下分步骤：

S11.采集柑橘叶部病虫害图像；

S12.使用图像标注软件Labelme对S11步骤获得的样本进行标注，标注要求包含叶片轮廓以及病斑轮廓；

S13.按照VOC2012数据集的格式构建数据集，包括三个文件夹：ImageSets、JPEGImages和SegmentationClassAug，并按照6：2：2的比例将数据集划分为训练集、验证集和测试集，其中，ImageSets用来存放标记有训练集、验证集和测试集图片信息的txt文件，JPEGImages用来存放原始图片，SegmentationClassAug用来存放具有标签信息的图片；

S14.对数据集采用在线增广技术进行扩充，包含翻转、旋转变换以及高斯噪声操作，避免小数据集训练模型容易引起过拟合的风险。

进一步的，步骤S2具体实现如下：

对ResNet-50的最大池化层进行改进，采用2×2、4×4和16×16三种不同尺度的最大池化，来获得不同大小的特征图，除2×2池化得到的特征图，对另两个尺度的特征图进行上采样得到与2×2池化操作一样大小的特征图，然后元素相加后输入到第二个卷积块；在第五个卷积块之后加入CBAM注意力机制，所述CBAM注意力机制包括两个模块：通道注意力模块CAM和空间注意力模块SAM；CAM包含一个并行的最大池化和均值池化，以及两层1×1的卷积；SAM包含一个并行的最大池化和均值池化，以及一层7×7的卷积；最终深层分支的输出特征图尺寸为128×128×128。

进一步的，步骤S3具体实现如下：

构建的浅层分支包含三个卷积层和一个池化层；第一层卷积为3×3、步长为2，填充为1的卷积；二、三层卷积为3×3、步长为1，填充为1的卷积，卷积层后都采用批归一化和Relu激活函数，输出特征图尺寸为256×256；通过一层最大池化将特征图进行降维，使浅层分支输出特征图尺寸与骨干网络分支的输出保持一致性。

进一步的，步骤S4所述的SE注意力机制包含一个全局均值池化和两个全连接层。

进一步的，步骤S5训练时采用早停法，设定初始学习率0.01，学习率调整策略为Poly策略，采用了SGD优化器，动量设定为0.9，权重衰减为0.0001，采用交叉熵损失函数。

进一步的，步骤S6所述的设计细粒度病害判别标准具体如下：

针对病害呈现形式为大面积病斑的病害，通过计算病斑面积占叶片面积的比例来估算病情程度，当比例<5％时将病情程度判定为轻微；当比例在6％-25％区间时判定为中等；当比例>25％时判定为严重；

针对病害呈现形式为斑点状的病害，采用计算病斑个数的方式来估算病情程度。当叶片上的病斑个数在1-5内时判定为轻微；当病斑个数在6-15内时判断为中等；当病斑个数在>15时将其判定为严重。

本发明的有益效果：本发明的柑橘细粒度病害识别方法采用CBAM注意力机制用于增强提取柑橘病害专业化特征的能力，并通过构建双分支网络，设计浅层分支以更好的提取柑橘病害的细节纹理、轮廓等信息，运用SE注意力模块将双分支网络融合后的特征进行通道权重的重分配，以实现针对柑橘病虫害微小病斑的精准分割，最后针对不同病害的呈现形式，分别采用计算病斑与叶片面积占比和计算病斑个数的方式判断病害的病情严重程度。本发明的方法具有较高的分割精度，能够精准的分割叶片病斑，同时针对病害的病情程度可以做到相对自主客观的判别。

附图说明

图1为本发明实施例的柑橘细粒度病害识别方法流程示意图。

图2为本发明实施例的深层分支改进的金字塔池化层的结构图。

图3为本发明实施例的浅层分支网络结构图。

图4为本发明实施例的识别方法与采用ResNet-50的CBAM算法的验证集Miou变化对比图。

具体实施方式

下面结合附图和具体的实施例对本发明作进一步详细的描述：

本发明的方案在进行柑橘细粒度病害智能识别过程中，首先要构建柑橘细粒度病虫害数据集，用其训练网络以得到柑橘细粒度病害模型；然后是针对模型的构建，通过在ResNet-50骨干网络中添加CBAM注意力机制以实现对柑橘病害的更为专业化的特征的提取；同时由于网络逐级加深会导致细节信息的丢失，使得模型对微小的病斑分割不精准，所以构建双分支网络，以浅层分支来更好的提取病害的纹理、轮廓等细节信息。将两个分支的特征融合后，再通过SE注意力机制来实现权重的重分配，来增强语义特征的表达能力，实现对微小病斑的精确分割；再通过对病情程度判别标准的制定，使得模型可以自主客观的根据计算标准更加精准的判别病情程度。最后将需要识别的柑橘病害叶片图像输入训练好的模型中，输出所患病害类别及其严重程度。流程图如图1所示，具体包括如下步骤：

S1.构建柑橘细粒度病虫害数据集；

S2.在ResNet-50骨干网络中加入CBAM注意力机制，提取柑橘病虫害相关的专业化特征；

S3.构建双分支网络中的另一浅层分支，提取柑橘病虫害的细节纹理信息；

S4.将步骤S2和S3构建的双分支网络提取到的特征进行特征融合，加入SE注意力机制进行通道权重的重分配；

S5.采用S1得到的数据集对注意力机制-双分支网络模型进行训练；

S6.设计细粒度病害判别标准；

S7.将待识别的柑橘病害图像输入经过步骤S5操作的模型中，得到柑橘所患病害种类及其细粒度病害程度。

在步骤S1中，首先对柑橘细粒度病虫害数据集的构建，具体实施步骤如下：

(1.1)自主采集柑橘叶部病虫害图像；

(1.2)使用图像标注软件Labelme对S11步骤获得的样本进行标注，标注要求包含叶片轮廓以及病斑轮廓；

(1.3)按照VOC2012数据集的格式构建数据集，包括三个文件夹：ImageSets、JPEGImages和SegmentationClassAug，并按照6：2：2的比例将数据集划分为训练集、验证集和测试集。其中，ImageSets用来存放标记有训练集、验证集和测试集图片信息的txt文件，JPEGImages用来存放原始图片，SegmentationClassAug用来存放具有标签信息的图片；

(1.4)对数据集采用在线增广技术，包含翻转、旋转变换以及高斯噪声，以解决小样本数据训练网络容易造成过拟合的问题。

针对柑橘细粒度病害的智能识别需要对叶片以及病斑的精准分割，而现有模型在实际生产中容易把其他叶片背景误识别为待分割叶片，且柑橘病虫害早期呈现为微小、不规则的病斑，使得模型对病害的轮廓识别不精准，造成分割精度不高，最终导致细粒度病情诊断的结果不够精确。因此本实施例构建的注意力机制-双分支网络模型就是为了更精准的对叶片及病斑轮廓进行分割，从而精准的判别病情严重程度，步骤S2对骨干网络的改进，具体步骤如下：

(2.1)对ResNet-50中的最大池化层进行改进，改进池化层的结构如图2所示，采用2×2、4×4和16×16三种不同尺度的最大池化来获得不同大小的特征图，

(2.2)对除2×2池化操作以外的另两个尺度池化得到的特征图进行上采样，得到与2×2池化操作一样大小的特征图，最后经元素相加之后输入到下一卷积块；

(2.3)在ResNet-50的第五个卷积块之后的输出特征图尺寸为2048×16×16，将其送入CBAM注意力机制，以提高对复杂特征的提取效果。CBAM包括通道注意力模块(CBM)和空间注意力模块(SAM)；

(2.4)由CAM中的最大和均值池化以及两层1×1的卷积后再与输入像素相乘得到一维的通道注意力特征；

(2.5)将一维通道注意力特征输入SAM，经过最大和均值池化以及一层7×7的卷积后再与输入像素相乘得到最终输出的CBAM注意力特征，特征图尺寸大小仍为2048×16×16；

(2.6)对输出特征图通过一次卷积进行通道降维得到128×16×16的特征图，再进行一次上采样得到骨干网络分支的最终输出，特征图尺寸为128×128×128。

由于网络逐级加深容易丢失很多细节信息，所以为了更好的提取病害的纹理、轮廓等细节信息，步骤S3构建了浅层分支，其网络结构如图3所示，具体步骤如下：

(3.1)浅层分支包含三个卷积核为3×3、填充为1的卷积层，唯一不同之处为第一层卷积的步长为2，后面两层卷积的步长为1。原始输入图像大小为3×512×512，经过浅层分支的第一层卷积后变为128×256×256，后面两层卷积尺寸不变；

(3.2)特征图经过三次卷积后通过一个最大池化对特征图进行下采样，得到128×128×128的特征图，与骨干网络分支输出保持一致性。

分别经过双分支网络的输出需要进行特征的融合，会导致模型参数计算量的增加，所以步骤S4加入了SE注意力机制，实现对识别柑橘细粒度病害更有用的特征的筛选的同时减少参数量，具体步骤如下：

(4.1)对双分支网络的输出通过通道拼接将特征融合，得到256×128×128的特征图；

(4.2)将融合后的特征送入SE注意力模块，该模块包括一个全局均值池化和两个全连接层，以习得各个通道之间的相关性，从而实现通道权重的重分配，增强与细粒度病虫害识别相关的特征的筛选；

(4.3)最后通过分类器及上采样得到最终输出。

构建好网络模型之后，就是对模型进行训练使之更适应于数据。本实施例中，训练时采用早停法，设定初始学习率0.01，学习率调整策略为Poly策略，采用了SGD优化器，动量设定为0.9，权重衰减为0.0001，采用交叉熵损失函数。

获得精准的分割图像后，需要制定判别标准使得模型可以根据分割图像自主判别病害的病情程度，步骤S6设计的细粒度病害判别标准具体如下：

针对病害呈现形式为大面积病斑的病害，通过计算病斑面积占叶片面积的比例来估算病情程度，当比例<5％时将病情程度判定为轻微；当比例在6％-25％区间时判定为中等；当比例>25％时判定为严重。

针对病害呈现形式为斑点状的病害，采用计算病斑个数的方式来估算病情程度。当叶片上的病斑个数在1-5内时判定为轻微；当病斑个数在6-15内时判断为中等；当病斑个数在>15时将其判定为严重。

最后将需要识别的柑橘病害图像输入注意力机制-双分支网络模型，经模型预测后得到其所属类别，并根据判别标准判定其严重程度。

本发明与采用ResNet-50的CBAM算法的验证集Miou变化对比如图4所示。从图上可以看到，Miou大约有10％的提升，证明双分支网络对病害的细节信息提取能力更强，具有更好的稳定性。

Claims (7)

1.一种基于注意力机制和双分支网络的柑橘细粒度病害智能识别方法，具体包括如下步骤：

S1.构建柑橘细粒度病虫害数据集；

S2.对ResNet-50的池化层进行改进，以改进的金字塔池化替换网络原最大池化层，在第五个卷积块后加入CBAM注意力机制，作为双分支网络的深层分支，用于提取柑橘病虫害相关的特征；

S3.构建双分支网络中的另一浅层分支，提取柑橘病虫害的细节纹理信息；

S4.将步骤S2和S3构建的双分支网络提取到的特征进行特征融合，加入SE注意力机制进行通道权重的重分配；

S5.采用步骤S1得到的数据集对注意力机制-双分支网络模型进行训练；

S6.设计细粒度病害判别标准；

S7.将待识别的柑橘病害图像输入经过步骤S5操作的模型中，得到柑橘所患病害种类及其细粒度病害程度。

2.根据权利要求1所述的一种基于注意力机制和双分支网络的柑橘细粒度病害智能识别方法，其特征在于，步骤S1具体包括如下分步骤：

S11.采集柑橘叶部病虫害图像；

S12.使用图像标注软件Labelme对S11步骤获得的样本进行标注，标注要求包含叶片轮廓以及病斑轮廓；

S13.按照VOC2012数据集的格式构建数据集，包括三个文件夹：ImageSets、JPEGImages和SegmentationClassAug，并按照6：2：2的比例将数据集划分为训练集、验证集和测试集，其中，ImageSets用来存放标记有训练集、验证集和测试集图片信息的txt文件，JPEGImages用来存放原始图片，SegmentationClassAug用来存放具有标签信息的图片；

S14.对数据集采用在线增广技术进行扩充，包含翻转、旋转变换以及高斯噪声操作，避免小数据集训练模型容易引起过拟合的风险。

3.根据权利要求1或2所述的一种基于注意力机制和双分支网络的柑橘细粒度病害智能识别方法，其特征在于，步骤S2具体实现如下：

对ResNet-50的最大池化层进行改进，采用2×2、4×4和16×16三种不同尺度的最大池化，来获得不同大小的特征图，除2×2池化得到的特征图，对另两个尺度的特征图进行上采样得到与2×2池化操作一样大小的特征图，然后元素相加后输入到第二个卷积块；在第五个卷积块之后加入CBAM注意力机制，所述CBAM注意力机制包括两个模块：通道注意力模块CAM和空间注意力模块SAM；CAM包含一个并行的最大池化和均值池化，以及两层1×1的卷积；SAM包含一个并行的最大池化和均值池化，以及一层7×7的卷积；最终深层分支的输出特征图尺寸为128×128×128。

4.根据权利要求3所述的一种基于注意力机制和双分支网络的柑橘细粒度病害智能识别方法，其特征在于，步骤S3具体实现如下：

构建的浅层分支包含三个卷积层和一个池化层；第一层卷积为3×3、步长为2，填充为1的卷积；二、三层卷积为3×3、步长为1，填充为1的卷积，卷积层后都采用批归一化和Relu激活函数，输出特征图尺寸为256×256；通过一层最大池化将特征图进行降维，使浅层分支输出特征图尺寸与骨干网络分支的输出保持一致性。

5.根据权利要求3所述的一种基于注意力机制和双分支网络的柑橘细粒度病害智能识别方法，其特征在于，步骤S4所述的SE注意力机制包含一个全局均值池化和两个全连接层。

6.根据权利要求4或5所述的一种基于注意力机制和双分支网络的柑橘细粒度病害智能识别方法，其特征在于，步骤S5训练时采用早停法，设定初始学习率0.01，学习率调整策略为Poly策略，采用了SGD优化器，动量设定为0.9，权重衰减为0.0001，采用交叉熵损失函数。

7.根据权利要求6所述的一种基于注意力机制和双分支网络的柑橘细粒度病害智能识别方法，步骤S6所述的设计细粒度病害判别标准具体如下：

针对病害呈现形式为大面积病斑的病害，通过计算病斑面积占叶片面积的比例来估算病情程度，当比例<5％时将病情程度判定为轻微；当比例在6％-25％区间时判定为中等；当比例>25％时判定为严重；

针对病害呈现形式为斑点状的病害，采用计算病斑个数的方式来估算病情程度。当叶片上的病斑个数在1-5内时判定为轻微；当病斑个数在6-15内时判断为中等；当病斑个数在>15时将其判定为严重。

Images