CN115620146A - 一种基于Transformer的农作物叶片病害检测方法 - Google Patents

一种基于Transformer的农作物叶片病害检测方法 Download PDF

Info

Publication number
CN115620146A
CN115620146A CN202211385848.1A CN202211385848A CN115620146A CN 115620146 A CN115620146 A CN 115620146A CN 202211385848 A CN202211385848 A CN 202211385848A CN 115620146 A CN115620146 A CN 115620146A
Authority
CN
China
Prior art keywords
layer
characteristic diagram
crop
leaf
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211385848.1A
Other languages
English (en)
Inventor
朱节中
黄凤星
杨再强
余晓栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi University
Original Assignee
Wuxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi University filed Critical Wuxi University
Priority to CN202211385848.1A priority Critical patent/CN115620146A/zh
Publication of CN115620146A publication Critical patent/CN115620146A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Transformer的农作物叶片病害检测方法，涉及农作物病害检测技术领域，包括以下步骤：S1、获取n幅用于模型训练的农作物叶片图像；S2、构建初始的叶片病害检测模型；S3、利用样本集训练初始的叶片病害检测模型，从而得到训练完成的叶片病害检测模型；S4、利用训练完成的叶片病害检测模型对待检测的农作物叶片图像进行检测，得到农作物叶片图像中农作物叶片病害检测结果。本发明模型采用编码器和解码器结构，编码器主要采用Transformer完成特征的提取工作，相较于传统的卷积神经网络速度更快，参数量更少；在解码器中，利用Transformer输出特征图进行特征融合的部分采用通道注意力机制，能够很好的减少模型参数量同时不会使性能下降。

Description

一种基于Transformer的农作物叶片病害检测方法
技术领域
本发明涉及农作物病害检测技术领域，更具体地，涉及一种基于Transformer的农作物叶片病害检测方法。
背景技术
在农作物生长过程中，常常会因为天气、微生物、生长环境等因素的影响而感染各种病害。这些病害常发生于植株的茎秆和叶片部分，其中叶片部分的病害特征最为明显且影响最为严重。由于病斑影响了农作物叶片的光合作用导致生长缓慢甚至落叶，从而影响农作物产量。
目前最常见的农作物病害检测方法，农民们根据自己多年的种植经验来判断农作物是否发生了病害，分辨出病害种类以及病害的程度，并根据自己的判断来对其采取相应的防治措施。在农作物种植面积较广的情况下，人工方式很难进行大规模的农作物病害监控，通过人为方式来识别病害是不切实际的，且这种识别方式覆盖面较小，其准确性难以得到保障。而常见的基于深度学习的农作物检测方法通常依赖于卷积神经网络，对硬件的计算性能要求较高，无法很好的满足边缘设备的部署需求。
现有技术公开了一种基于卷积神经网络的苹果树干病害识别与分类方法，该方法利用深度学习的VGG模型进行苹果树干病害检测节约人力，但模型参数量和计算量较高，因此检测速度较慢。
为此，结合以上需求和现有技术中对硬件的计算性能要求较高、检测速度较慢的技术缺陷，本申请提出了一种基于Transformer的农作物叶片病害检测方法。
发明内容
本发明提供了一种基于Transformer的农作物叶片病害检测方法，能够在使用参数量更少的条件下达成更快的病害检测速度。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
本发明第一方面提供了一种基于Transformer的农作物叶片病害检测方法，本方法包括以下步骤：
S1、获取n幅用于模型训练的农作物叶片图像，标记农作物叶片图像中的病害区域，得到完成标记的农作物叶片图像的样本集。
S2、构建初始的叶片病害检测模型，所述初始的叶片病害检测模型包括编码器和解码器，编码器采用Transformer结构进行高层特征提取，解码器采用通道注意力机制对编码器Transformer输出特征图进行特征融合。
S3、利用步骤S1的样本集训练初始的叶片病害检测模型，从而得到训练完成的叶片病害检测模型。
S4、利用训练完成的叶片病害检测模型对待检测的农作物叶片图像进行检测，得到农作物叶片图像中农作物叶片病害检测结果。
进一步的，步骤S1中获取所述标记农作物叶片图像的方法具体为：
S11、获取n幅用于模型训练的农作物叶片图像，其中农作物叶片图像具有RGB三个通道；所述农作物叶片图像包括健康叶片的农作物叶片图像和病害叶片的农作物叶片图像。
S12、标记每一幅病害叶片农作物叶片图像中的病害区域和病害区域的病害类型，标记每一幅健康叶片农作物叶片图像中的健康叶片，根据所述标记数据导出掩码图像，每一幅所述农作物叶片图像对应一幅掩码图像；其中掩码图像和农作物叶片图像长宽相同，掩码图像为单通道的灰度图，掩码图像中每个像素点均对应有病害类型或健康叶片的标签。
进一步的，步骤S2所述叶片病害检测模型的编码器包括：输入层、卷积层和Transformer层，具体为：
输入层输入农作物叶片图像，并将农作物叶片图像传输到第一卷积层；农作物叶片图像的尺寸为H×W×3，其中，H和W分别为农作物叶片图像的长宽，3表示农作物叶片图像具有RGB三个通道。
农作物叶片图像经过第一卷积层，得到第一编码特征图，第一编码特征图的尺寸为H×W×24。
第一编码特征图首先输入池化层进行池化处理，然后经过第二卷积层处理后得到第二编码特征图，第二编码特征图的尺寸为
Figure BDA0003930623410000021
农作物叶片图像经过池化层进行四倍下采样处理，然后输入第一Transformer层得到第三编码特征图，第三编码特征图尺寸为
Figure BDA0003930623410000031
第三编码特征图输入第二Transformer层得到第四编码特征图，第四编码特征图尺寸为
Figure BDA0003930623410000032
第四编码特征图输入第三Transformer层得到第五编码特征图，第五编码特征图尺寸为
Figure BDA0003930623410000033
第五编码特征图输入第四Transformer层得到第六编码特征图，第六编码特征图尺寸为
Figure BDA0003930623410000034
进一步的，所述第一Transformer层、第二Transformer层、第三Transformer层和第四Transformer层的具体结构为：
所述第一Transformer层包括：池化层、区块划分操作模块、线性编码操作模块和Transformer Block；农作物叶片图像依次经过池化层、区块划分操作模块、线性编码操作模块和Transformer Block得到第三编码特征图。
其中，区块划分就是将图片划分为几个部分。
第二Transformer层、第三Transformer层和第四Transformer层均为下采样操作模块和Transformer Block依次连接。
其中，所述Transformer层中的下采样操作模块均是将编码特征图划分为
Figure BDA0003930623410000035
四个区域，然后在深度方向进行拼接变成[0,1,2,3]，再经过线性变换变成[4,5]。
其中，所述下采样流程能够减少模型的参数量。
进一步的，所述Transformer Block具体包括：LN层归一化模块、窗口多头注意力模块、MLP多层感知机、滑动窗口多头注意力模块和跳跃连接模块。
其中，所述LN层归一化模块、窗口多头注意力模块和跳跃连接模块依次连接；接下来LN层归一化模块、MLP多层感知机和跳跃连接模块依次连接；接下来LN层归一化模块、滑动窗口多头注意力模块和跳跃连接模块依次连接；最后LN层归一化模块、MLP多层感知机和跳跃连接模块依次连接。
进一步的，所述卷积层包括两个卷积核，其中卷积核大小为3×3，卷积核步长为1，卷积核Padding为1、卷积核Mish激活函数为Mish＝x×tanh(ln(1+ex))。
进一步的，步骤S2中所述叶片病害检测模型的解码器包括：卷积核、通道注意力模块和空间注意力模块，具体包括：
第六编码特征图输入解码器的第一层，经过1×1的卷积核后与第五编码特征图进行拼接融合，然后经过3×3的卷积核和通道注意力模块，输出大小为
Figure BDA0003930623410000041
的第一解码特征图。
第一解码特征图输入解码器的第二层，经过1×1的卷积核后与第四编码特征图进行拼接融合，然后经过3×3的卷积核和通道注意力模块，输出大小为
Figure BDA0003930623410000042
的第二解码特征图。
第二解码特征图输入解码器的第三层，经过1×1的卷积核后与第三编码特征图进行拼接融合，然后经过3×3的卷积核和通道注意力模块，输出大小为
Figure BDA0003930623410000043
的第三解码特征图。
第三解码特征图输入解码器的第四层，经过1×1的卷积核后与第二编码特征图进行拼接融合，然后经过3×3的卷积核和空间注意力模块，输出大小为
Figure BDA0003930623410000044
的第四解码特征图。
第四解码特征图输入解码器的第五层，经过1×1的卷积核后与第一编码特征图进行拼接融合，然后经过3×3的卷积核和空间注意力模块，输出大小为H×W×24的第五解码特征图。
第五解码特征图输入解码器的第六层，经过1×1的卷积核后输出大小为H×W×N的第六解码特征图，其中N为病虫害种类和背景的总和。
进一步的，步骤S3中所述利用样本集训练初始的病害检测模型的过程具体为：样本集包括训练集和测试集，训练集输入到卷积神经网络中得到第六解码特征图，通过Dice损失函数计算第六解码特征图与对应标注掩码图像中的每个子像素点的差值，通过反向传播将计算出来的差值通过反向传播对叶片病害检测模型中的卷积核进行更新；每一次训练过后利用测试集计算训练准确度，当训练准确度达到训练目标则训练完成，保存权重参数得到完成训练的叶片病害检测模型。
进一步的，所述训练准确度的计算方法为：将测试集中的图片输入到叶片病害检测模型中，得到测试集中每一张图片对应的第六解码特征图
Figure BDA0003930623410000045
计算第六解码特征图
Figure BDA0003930623410000046
与标记的掩码图像Vk之间的交并比IoUk和损失值
Figure BDA0003930623410000047
Figure BDA0003930623410000051
并计算测试集中所有图片的的平均交并比MIoU和平均损失值，当MIoU＞0.9或平均损失值变化幅度小于3％时即达到训练目标，结束训练并保存模型权重参数Weight。
其中，平均交并比的计算公式为：
Figure BDA0003930623410000052
其中，Vi表示第i张测试集图片的交并比；平均损失值的计算公式为：
Figure BDA0003930623410000053
其中，Lossi表示第i张测试集图片的损失值。
进一步的，步骤S4中所述利用训练完成的病害检测模型对待检测的农作物叶片图像进行检测的过程具体为。
S41、将待检测的农作物叶片图像im转换为0～1之间的张量，得到输入矩阵P。
S42、将输入矩阵P输入叶片病害检测模型，通过叶片病害检测模型得到输出矩阵Q；输出矩阵Q计算方式为
Figure BDA0003930623410000054
其中
Figure BDA0003930623410000055
为卷积符号。
S43、通过PLT库将矩阵Q转换为图片，得到的图片即为预测的病害区域和病害类型分布图。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供了一种基于Transformer的农作物叶片病害检测方法，利用叶片病害检测模型检测农作物叶片病害情况，模型采用编码器和解码器结构，模型的编码器主要采用Transformer完成特征的提取工作，相较于传统的卷积神经网络速度更快，参数量更少；在解码器部分中，利用Transformer输出特征图进行特征融合的部分采用通道注意力机制，能够很好的减少模型参数量同时不会使性能下降。
附图说明
图1为本发明一种基于Transformer的农作物叶片病害检测方法的步骤流程示意图。
图2为本发明的叶片病害检测模型结构示意图。
图3为Transformer Block网络结构示意图。
图4为本发明中下采样流程的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
如图1所示，本发明提供了一种基于Transformer的农作物叶片病害检测方法，本方法包括以下步骤：
S1、获取n幅用于模型训练的农作物叶片图像，标记农作物叶片图像中的病害区域，得到完成标记的农作物叶片图像的样本集。
S2、构建初始的叶片病害检测模型，所述初始的叶片病害检测模型包括编码器和解码器，编码器采用Transformer结构进行高层特征提取，解码器采用通道注意力机制对编码器Transformer输出特征图进行特征融合。
S3、利用步骤S1的样本集训练初始的叶片病害检测模型，从而得到训练完成的叶片病害检测模型。
S4、利用训练完成的叶片病害检测模型对待检测的农作物叶片图像进行检测，得到农作物叶片图像中农作物叶片病害检测结果。
本实施例提出了一种基于Transformer的农作物叶片病害检测方法，利用叶片病害检测模型检测农作物叶片病害情况，模型采用编码器和解码器结构，模型的编码器主要采用Transformer完成特征的提取工作，相较于传统的卷积神经网络速度更快，参数量更少；在解码器部分中，利用Transformer输出特征图进行特征融合的部分采用通道注意力机制，能够很好的减少模型参数量同时不会使性能下降。
实施例2
基于上述实施例1，结合图2-图3，本实施例详细阐述本发明一种基于Transformer的农作物叶片病害检测方法的具体内容。
进一步的，步骤S1中获取所述标记农作物叶片图像的方法具体为：
S11、获取n幅用于模型训练的农作物叶片图像，其中农作物叶片图像具有RGB三个通道；所述农作物叶片图像包括健康叶片的农作物叶片图像和病害叶片的农作物叶片图像。
S12、标记每一幅病害叶片农作物叶片图像中的病害区域和病害区域的病害类型，标记每一幅健康叶片农作物叶片图像中的健康叶片，根据所述标记数据导出掩码图像，每一幅所述农作物叶片图像对应一幅掩码图像；其中掩码图像和农作物叶片图像长宽相同，掩码图像为单通道的灰度图，掩码图像中每个像素点均对应有病害类型或健康叶片的标签。
进一步的，步骤S2所述叶片病害检测模型的编码器如图2所示，具体包括：输入层、卷积层和Transformer层，具体为：
输入层输入农作物叶片图像，并将农作物叶片图像传输到第一卷积层；农作物叶片图像的尺寸为H×W×3，其中，H和W分别为农作物叶片图像的长宽，3表示农作物叶片图像具有RGB三个通道。
农作物叶片图像经过第一卷积层，得到第一编码特征图，第一编码特征图的尺寸为H×W×24。
第一编码特征图首先输入池化层进行池化处理，然后经过第二卷积层处理后得到第二编码特征图，第二编码特征图的尺寸为
Figure BDA0003930623410000071
农作物叶片图像经过池化层进行四倍下采样处理，然后输入第一Transformer层得到第三编码特征图，第三编码特征图尺寸为
Figure BDA0003930623410000072
第三编码特征图输入第二Transformer层得到第四编码特征图，第四编码特征图尺寸为
Figure BDA0003930623410000073
第四编码特征图输入第三Transformer层得到第五编码特征图，第五编码特征图尺寸为
Figure BDA0003930623410000074
第五编码特征图输入第四Transformer层得到第六编码特征图，第六编码特征图尺寸为
Figure BDA0003930623410000075
进一步的，所述第一Transformer层、第二Transformer层、第三Transformer层和第四Transformer层的具体结构为：
所述第一Transformer层包括：池化层、区块划分操作模块、线性编码操作模块和Transformer Block；农作物叶片图像依次经过池化层、区块划分操作模块、线性编码操作模块和Transformer Block得到第三编码特征图。
其中，区块划分就是将图片划分为几个部分。
第二Transformer层、第三Transformer层和第四Transformer层均为下采样操作模块和Transformer Block依次连接。
其中，所述Transformer层中的下采样操作模块均是将编码特征图划分为
Figure BDA0003930623410000081
四个区域，然后在深度方向进行拼接变成[0，1，2，3]，再经过线性变换变成[4，5]。
其中，所述下采样流程能够减少模型的参数量。
进一步的，所述Transformer Block的结构如图3所示，具体包括：LN层归一化模块、窗口多头注意力模块、MLP多层感知机、滑动窗口多头注意力模块和跳跃连接模块。
其中，所述LN层归一化模块、窗口多头注意力模块和跳跃连接模块依次连接；接下来LN层归一化模块、MLP多层感知机和跳跃连接模块依次连接；接下来LN层归一化模块、滑动窗口多头注意力模块和跳跃连接模块依次连接；最后LN层归一化模块、MLP多层感知机和跳跃连接模块依次连接。
进一步的，所述卷积层包括两个卷积核，其中卷积核大小为3×3，卷积核步长为1，卷积核Padding为1、卷积核Mish激活函数为Mish＝x×tanh(ln(1+ex))。
进一步的，步骤S2中所述叶片病害检测模型的解码器包括：卷积核、通道注意力模块和空间注意力模块，具体包括：
第六编码特征图输入解码器的第一层，经过1×1的卷积核后与第五编码特征图进行拼接融合，然后经过3×3的卷积核和通道注意力模块，输出大小为
Figure BDA0003930623410000082
的第一解码特征图。
第一解码特征图输入解码器的第二层，经过1×1的卷积核后与第四编码特征图进行拼接融合，然后经过3×3的卷积核和通道注意力模块，输出大小为
Figure BDA0003930623410000083
的第二解码特征图。
第二解码特征图输入解码器的第三层，经过1×1的卷积核后与第三编码特征图进行拼接融合，然后经过3×3的卷积核和通道注意力模块，输出大小为
Figure BDA0003930623410000084
的第三解码特征图。
第三解码特征图输入解码器的第四层，经过1×1的卷积核后与第二编码特征图进行拼接融合，然后经过3×3的卷积核和空间注意力模块，输出大小为
Figure BDA0003930623410000091
的第四解码特征图。
第四解码特征图输入解码器的第五层，经过1×1的卷积核后与第一编码特征图进行拼接融合，然后经过3×3的卷积核和空间注意力模块，输出大小为H×W×24的第五解码特征图。
第五解码特征图输入解码器的第六层，经过1×1的卷积核后输出大小为H×W×N的第六解码特征图，其中N为病虫害种类和背景的总和。
进一步的，步骤S3中所述利用样本集训练初始的病害检测模型的过程具体为：样本集包括训练集和测试集，训练集输入到卷积神经网络中得到第六解码特征图，通过Dice损失函数计算第六解码特征图与对应标注掩码图像中的每个子像素点的差值，通过反向传播将计算出来的差值通过反向传播对叶片病害检测模型中的卷积核进行更新；每一次训练过后利用测试集计算训练准确度，当训练准确度达到训练目标则训练完成，保存权重参数得到完成训练的叶片病害检测模型。
进一步的，所述训练准确度的计算方法为：将测试集中的图片输入到叶片病害检测模型中，得到测试集中每一张图片对应的第六解码特征图
Figure BDA0003930623410000092
计算第六解码特征图
Figure BDA0003930623410000093
与标记的掩码图像Vk之间的交并比IoUk和损失值
Figure BDA0003930623410000094
Figure BDA0003930623410000095
并计算测试集中所有图片的的平均交并比MIoU和平均损失值，当MIoU＞0.9或平均损失值变化幅度小于3％时即达到训练目标，结束训练并保存模型权重参数Weight。
其中，平均交并比的计算公式为：
Figure BDA0003930623410000096
其中，Vi表示第i张测试集图片的交并比；平均损失值的计算公式为：
Figure BDA0003930623410000097
其中，Lossi表示第i张测试集图片的损失值。
进一步的，步骤S4中所述利用训练完成的病害检测模型对待检测的农作物叶片图像进行检测的过程具体为。
S41、将待检测的农作物叶片图像im转换为0～1之间的张量，得到输入矩阵P。
S42、将输入矩阵P输入叶片病害检测模型，通过叶片病害检测模型得到输出矩阵Q；输出矩阵Q计算方式为
Figure BDA0003930623410000098
其中
Figure BDA0003930623410000099
为卷积符号。
S43、通过PLT库将矩阵Q转换为图片，得到的图片即为预测的病害区域和病害类型分布图。
实施例3
基于上述实施例1和实施例2，结合图4和表格，本实施例以葡萄病害作为实际样本，对本发明的技术方案作进一步说明。
如图4所示，本发明采用的下采样流程具体为：。
在一个具体的实施例中，采用葡萄病害作为实际样本进行病害检测的过程如下：
S1、采集样本图片，确定学习样本并分类保存。
其中，要得到模型，就需要大量的病虫害样本输入到网络中对神经网络进行训练。实际训练葡萄叶片病害样本包含有：轮斑病、黑腐病、褐斑病以及作为负样本的健康叶片。
首先使用Labelme对病害图片进行多边形标记并导出训练所需的掩码并将其转为范围为[0，4]灰度图。其次设总样本为Ri和对应的掩码图片Mi，i为样本数量。其中Ri图片大小H×W×3，H与W分别为图片的长宽，3为RGB图片的三通道。Mi图片大小为H×W×1。Ri与Mi中每个通道的值均在[0，255]之间，其中Mi中每个像素点的值使用1～4分别代表轮斑病、黑腐病、褐斑病和健康叶片，0代表背景。
S2、划分数据集。
经过分类标记整理到的葡萄病虫害样本图片总计3143张，共四类。首先将Ri中的样本其按照一定比例随机划分训练集Ti和测试集Vk，对应的掩码图片为mTj和mVk，其中j＝0.9×i；k＝i-j；k，i∈Z。
S3、训练模型。
利用Transformer网络自主学习样本图片，通过不断的学习得到最好的效果。将Tj中的图片依次输入到网络中。该卷积神经网络结构包含两部分，编码器和解码器组成。
编码器部分采用Transformer结构进行高层特征提取，卷积神经网络进行低层特征提取。
Transformer Block结构如图1所示，包含窗口多头注意力(W-MSA)、层归一化(LN)、感知机(MLP)和滑动窗口多头注意力(SW-MSA)组成。其步骤可分为四步：
1.特征图经过LN层，经过W-MSA，然后进行跳跃连接。
2.连接后的特征图再次经过LN层，经过全连接层MLP，然后进行跳跃连接。
3.特征图经过LN层，经过SW-MSA，然后进行跳跃连接。
4.连接后的特征图再次经过LN层，经过全连接层MLP，然后进行跳跃连接。
卷积层为包含两个卷积核，卷积核大小为3×3，步长为1，Padding为1、Mish激活函数组成，其函数为Mish＝x×tanh(ln(1+ex))。下采样采用一个大小为2×2，步长为2的最大池化层。
通过卷积层和Transformer结构堆叠，得到编码器，其结构如图2左边部分所示：
第一层为输入层，其大小为H×W×3。
第二层为卷积层，通过两个卷积后操作后，输出大小为H×W×24。其输出记为X1。
第三层为卷积层，经过池化层后的特征图通过两个卷积后操作，输出大小为
Figure BDA0003930623410000111
其输出记为X2。
第四层为Transformer层，包含区块划分操作、线性编码操作、TransformerBlock。输入层的数据经过4倍下采样后，依次经过区块划分、线性编码、Transformer Block后，输出大小为
Figure BDA0003930623410000112
其输出记为X3。
第五层为Transformer层，包含下采样操作和Transformer Block。输入的特征图经过下采样输入到Transformer Block。输出大小为
Figure BDA0003930623410000113
其输出记为X4。
第六五层为Transformer层，包含下采样操作和Transformer Block。输入的特征图经过下采样输入到Transformer Block。输出大小为
Figure BDA0003930623410000114
其输出记为X5。
第七五层为Transformer层，包含下采样操作和Transformer Block。输入的特征图经过下采样输入到Transformer Block。输出大小为
Figure BDA0003930623410000121
其输出记为X6。
解码器由3×3的卷积和注意力组成。上采样操作使用线性插值方法。其具体结构自下而上如图2右半边所示
第一层输入为X6，通过1×1的卷积后于X5进行拼接。融合后的向量经过3×3的卷积和通道注意力模块，输出大小为
Figure BDA0003930623410000122
记为U1。
第二层输入为U1，通过1×1的卷积后于X4进行拼接。融合后的向量经过3×3的卷积和通道注意力模块，输出大小为
Figure BDA0003930623410000123
记为U2。
第三层输入为U2，通过1×1的卷积后于X3进行拼接。融合后的向量经过3×3的卷积和通道注意力模块，输出大小为
Figure BDA0003930623410000124
记为U3。
第四层输入为U3，通过1×1的卷积后于X2进行拼接。融合后的向量经过3×3的卷积和空间注意力模块，输出大小为
Figure BDA0003930623410000125
记为U4。
第五层输入为U4，通过1×1的卷积后于X1进行拼接。融合后的向量经过3×3的卷积和空间注意力模块，输出大小为H×W×24，记为U5。
第六层位输出层，主要作用为输出每个类别的像素位置。U5经过1×1的卷积后输出为M，大小为H×W×N，其中N为病虫害种类于背景的总和，本文中为5。
S4、计算损失函数。
将Mi的图片通过归一化压缩，将其压缩至0～1之间，其后得到的矩阵为A。取输出层M的每个通道数的平均值将其压缩为H×W×1大小，其输出矩阵为B。则Dice损失函数可以表达为
Figure BDA0003930623410000126
其后经过反向传播更新网络参数，继续进行步骤3直至Tj中的图片全输入到网络中。
S5、计算准确度。
将Vk中的图片输入到网络中，得到每一张图片对应的输出
Figure BDA0003930623410000127
计算Vk与
Figure BDA0003930623410000128
之间的交并比IoUk和损失值
Figure BDA0003930623410000129
并计算所有验证集Vk的平均交并比
Figure BDA00039306234100001210
和平均损失值
Figure BDA00039306234100001212
当MIoU＞0.9或Loss值变化幅度小于3％时，结束训练并保存模型权重参数W。否则返回步骤3。
S6、对未知病害预测
将预测图片im读入并转换为0～1之间的张量，得到输入矩阵P。输出矩阵Q计算方式为
Figure BDA0003930623410000131
其中
Figure BDA0003930623410000132
为卷积符号。最后通过PLT库将矩阵Q转换为图片，得到的图片即为预测的病害区域和病害类型分布图。
表1显示了不同模型叶片病害识别性能对比情况，可以看出采用本方法的SW-Unet模型参数量更小，推理速度和识别效果均优于其他模型。
表1不同的方法对葡萄叶片病害识别性能对比
Figure BDA0003930623410000133
附图中描述结构位置关系的图标仅用于示例性说明，不能理解为对本专利的限制。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于Transformer的农作物叶片病害检测方法，其特征在于，包括以下步骤：
S1、获取n幅用于模型训练的农作物叶片图像，标记农作物叶片图像中的病害区域，得到完成标记的农作物叶片图像的样本集；
S2、构建初始的叶片病害检测模型，所述初始的叶片病害检测模型包括编码器和解码器，编码器采用Transformer结构进行高层特征提取，解码器采用通道注意力机制对编码器Transformer输出特征图进行特征融合；
S3、利用步骤S1的样本集训练初始的叶片病害检测模型，从而得到训练完成的叶片病害检测模型；
S4、利用训练完成的叶片病害检测模型对待检测的农作物叶片图像进行检测，得到农作物叶片图像中农作物叶片病害检测结果。
2.根据权利要求1所述的一种基于Transformer的农作物叶片病害检测方法，其特征在于，步骤S1中获取所述标记农作物叶片图像的方法具体为：
S11、获取n幅用于模型训练的农作物叶片图像，其中农作物叶片图像具有RGB三个通道；所述农作物叶片图像包括健康叶片的农作物叶片图像和病害叶片的农作物叶片图像；
S12、标记每一幅病害叶片农作物叶片图像中的病害区域和病害区域的病害类型，标记每一幅健康叶片农作物叶片图像中的健康叶片，根据所述标记数据导出掩码图像，每一幅所述农作物叶片图像对应一幅掩码图像；其中掩码图像和农作物叶片图像长宽相同，掩码图像为单通道的灰度图，掩码图像中每个像素点均对应有病害类型或健康叶片的标签。
3.根据权利要求2所述的一种基于Transformer的农作物叶片病害检测方法，其特征在于，步骤S2所述叶片病害检测模型的编码器包括：输入层、卷积层和Transformer层，具体为：
输入层输入农作物叶片图像，并将农作物叶片图像传输到第一卷积层；农作物叶片图像的尺寸为H×W×3，其中，H和W分别为农作物叶片图像的长宽，3表示农作物叶片图像具有RGB三个通道；
农作物叶片图像经过第一卷积层，得到第一编码特征图，第一编码特征图的尺寸为H×W×24；
第一编码特征图首先输入池化层进行池化处理，然后经过第二卷积层处理后得到第二编码特征图，第二编码特征图的尺寸为
Figure FDA0003930623400000021
农作物叶片图像经过池化层进行四倍下采样处理，然后输入第一Transformer层得到第三编码特征图，第三编码特征图尺寸为
Figure FDA0003930623400000022
第三编码特征图输入第二Transformer层得到第四编码特征图，第四编码特征图尺寸为
Figure FDA0003930623400000023
第四编码特征图输入第三Transformer层得到第五编码特征图，第五编码特征图尺寸为
Figure FDA0003930623400000024
第五编码特征图输入第四Transformer层得到第六编码特征图，第六编码特征图尺寸为
Figure FDA0003930623400000025
4.根据权利要求3所述的一种基于Transformer的农作物叶片病害检测方法，其特征在于，所述第一Transformer层、第二Transformer层、第三Transformer层和第四Transformer层的具体结构为：
所述第一Transformer层包括：池化层、区块划分操作模块、线性编码操作模块和Transformer Block；农作物叶片图像依次经过池化层、区块划分操作模块、线性编码操作模块和Transformer Block得到第三编码特征图；
第二Transformer层、第三Transformer层和第四Transformer层均为下采样操作模块和Transformer Block依次连接；
其中，所述Transformer层中的下采样操作模块均是将编码特征图划分为
Figure FDA0003930623400000026
四个区域，然后在深度方向进行拼接变成[0,1,2,3]，再经过线性变换变成[4,5]。
5.根据权利要求4所述的一种基于Transformer的农作物叶片病害检测方法，其特征在于，所述Transformer Block具体包括：LN层归一化模块、窗口多头注意力模块、MLP多层感知机、滑动窗口多头注意力模块和跳跃连接模块；
其中，所述LN层归一化模块、窗口多头注意力模块和跳跃连接模块依次连接；接下来LN层归一化模块、MLP多层感知机和跳跃连接模块依次连接；接下来LN层归一化模块、滑动窗口多头注意力模块和跳跃连接模块依次连接；最后LN层归一化模块、MLP多层感知机和跳跃连接模块依次连接。
6.根据权利要求3所述的一种基于Transformer的农作物叶片病害检测方法，其特征在于，所述卷积层包括两个卷积核，其中卷积核大小为3×3，卷积核步长为1，卷积核Padding为1、卷积核Mish激活函数为Mish＝x×tanh(ln(1+ex))。
7.根据权利要求3所述的一种基于Transformer的农作物叶片病害检测方法，其特征在于，步骤S2中所述叶片病害检测模型的解码器包括：卷积核、通道注意力模块和空间注意力模块，具体包括：
第六编码特征图输入解码器的第一层，经过1×1的卷积核后与第五编码特征图进行拼接融合，然后经过3×3的卷积核和通道注意力模块，输出大小为
Figure FDA0003930623400000031
的第一解码特征图；
第一解码特征图输入解码器的第二层，经过1×1的卷积核后与第四编码特征图进行拼接融合，然后经过3×3的卷积核和通道注意力模块，输出大小为
Figure FDA0003930623400000032
的第二解码特征图；
第二解码特征图输入解码器的第三层，经过1×1的卷积核后与第三编码特征图进行拼接融合，然后经过3×3的卷积核和通道注意力模块，输出大小为
Figure FDA0003930623400000033
的第三解码特征图；
第三解码特征图输入解码器的第四层，经过1×1的卷积核后与第二编码特征图进行拼接融合，然后经过3×3的卷积核和空间注意力模块，输出大小为
Figure FDA0003930623400000034
的第四解码特征图；
第四解码特征图输入解码器的第五层，经过1×1的卷积核后与第一编码特征图进行拼接融合，然后经过3×3的卷积核和空间注意力模块，输出大小为H×W×24的第五解码特征图；
第五解码特征图输入解码器的第六层，经过1×1的卷积核后输出大小为H×W×N的第六解码特征图，其中N为病虫害种类和背景的总和。
8.根据权利要求7所述的一种基于Transformer的农作物叶片病害检测方法，其特征在于，步骤S3中所述利用样本集训练初始的病害检测模型的过程具体为：样本集包括训练集和测试集，训练集输入到卷积神经网络中得到第六解码特征图，通过Dice损失函数计算第六解码特征图与对应标注掩码图像中的每个子像素点的差值，通过反向传播将计算出来的差值通过反向传播对叶片病害检测模型中的卷积核进行更新；每一次训练过后利用测试集计算训练准确度，当训练准确度达到训练目标则训练完成，保存权重参数得到完成训练的叶片病害检测模型。
9.根据权利要求8所述的一种基于Transformer的农作物叶片病害检测方法，其特征在于，所述训练准确度的计算方法为：将测试集中的图片输入到叶片病害检测模型中，得到测试集中每一张图片对应的第六解码特征图
Figure FDA0003930623400000041
计算第六解码特征图
Figure FDA0003930623400000042
与标记的掩码图像Vk之间的交并比IoUk和损失值
Figure FDA0003930623400000043
并计算测试集中所有图片的的平均交并比MIoU和平均损失值，当MIoU>0.9或平均损失值变化幅度小于3％时即达到训练目标，结束训练并保存模型权重参数Weight；
平均交并比的计算公式为：
Figure FDA0003930623400000044
其中，Vi表示第i张测试集图片的交并比；平均损失值的计算公式为：
Figure FDA0003930623400000045
其中，Lossi表示第i张测试集图片的损失值。
10.根据权利要求9所述的一种基于Transformer的农作物叶片病害检测方法，其特征在于，步骤S4中所述利用训练完成的病害检测模型对待检测的农作物叶片图像进行检测的过程具体为：
S41、将待检测的农作物叶片图像im转换为0～1之间的张量，得到输入矩阵P；
S42、将输入矩阵P输入叶片病害检测模型，通过叶片病害检测模型得到输出矩阵Q；输出矩阵Q计算方式为
Figure FDA0003930623400000046
其中
Figure FDA0003930623400000047
为卷积符号；
S43、通过PLT库将矩阵Q转换为图片，得到的图片即为预测的病害区域和病害类型分布图。
CN202211385848.1A 2022-11-07 2022-11-07 一种基于Transformer的农作物叶片病害检测方法 Pending CN115620146A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211385848.1A CN115620146A (zh) 2022-11-07 2022-11-07 一种基于Transformer的农作物叶片病害检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211385848.1A CN115620146A (zh) 2022-11-07 2022-11-07 一种基于Transformer的农作物叶片病害检测方法

Publications (1)

Publication Number Publication Date
CN115620146A true CN115620146A (zh) 2023-01-17

Family

ID=84878393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211385848.1A Pending CN115620146A (zh) 2022-11-07 2022-11-07 一种基于Transformer的农作物叶片病害检测方法

Country Status (1)

Country Link
CN (1) CN115620146A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403048A (zh) * 2023-04-17 2023-07-07 哈尔滨工业大学 一种基于多模态数据融合的农作物生长估计模型构建方法
CN116883364A (zh) * 2023-07-17 2023-10-13 安徽大学 一种基于CNN和Transformer的苹果叶片病害识别方法
CN117333777A (zh) * 2023-12-01 2024-01-02 山东元明晴技术有限公司 一种坝体异常识别方法、装置及存储介质
CN118658150A (zh) * 2024-08-20 2024-09-17 湖南大学 一种基于显著性目标检测的复杂背景下棉花病害识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403048A (zh) * 2023-04-17 2023-07-07 哈尔滨工业大学 一种基于多模态数据融合的农作物生长估计模型构建方法
CN116403048B (zh) * 2023-04-17 2024-03-26 哈尔滨工业大学 一种基于多模态数据融合的农作物生长估计模型构建方法
CN116883364A (zh) * 2023-07-17 2023-10-13 安徽大学 一种基于CNN和Transformer的苹果叶片病害识别方法
CN117333777A (zh) * 2023-12-01 2024-01-02 山东元明晴技术有限公司 一种坝体异常识别方法、装置及存储介质
CN117333777B (zh) * 2023-12-01 2024-02-13 山东元明晴技术有限公司 一种坝体异常识别方法、装置及存储介质
CN118658150A (zh) * 2024-08-20 2024-09-17 湖南大学 一种基于显著性目标检测的复杂背景下棉花病害识别方法

Similar Documents

Publication Publication Date Title
CN115620146A (zh) 一种基于Transformer的农作物叶片病害检测方法
CN107665355B (zh) 一种基于区域卷积神经网络的农业害虫检测方法
CN109614973A (zh) 水稻秧苗及苗期杂草图像语义分割方法、系统、设备和介质
CN109344699A (zh) 基于分层深度卷积神经网络的冬枣病害识别方法
CN111860537B (zh) 基于深度学习的绿色柑橘识别方法、设备及装置
CN111241939A (zh) 一种基于无人机数码影像的水稻产量估测方法
CN113657294A (zh) 一种基于计算机视觉的作物病虫害检测方法及系统
Petrellis Mobile application for plant disease classification based on symptom signatures
Mahbub et al. Detect bangladeshi mango leaf diseases using lightweight convolutional neural network
CN113177548A (zh) 一种针对免疫固定电泳的重点区域识别方法
CN104102922A (zh) 一种基于上下文感知字典学习的害虫图像分类方法
CN112686261A (zh) 一种基于改进U-Net的葡萄根系图像分割方法
CN114913425A (zh) 基于置信学习和细粒度特征提取的玉米病害程度检测方法
CN114549494A (zh) 一种温室生产环境下草莓白粉病快速检测方法
Banerjee et al. Enhancing Snake Plant Disease Classification through CNN-Random Forest Integration
CN117475163A (zh) 作物疾病严重程度检测方法
CN116740584A (zh) 一种结合CNN和Transformer的渐进式学习梯度的弱监督云检测方法
CN116563844A (zh) 圣女果成熟度检测方法、装置、设备及存储介质
CN115170987A (zh) 一种基于图像分割和配准融合对葡萄进行病害检测的方法
CN114897101A (zh) 一种航空发动机故障部位识别方法及系统
Terzi et al. Automatic detection of grape varieties with the newly proposed CNN model using ampelographic characteristics
Banerjee et al. Smart Detection of Rose Rust Using CNN-Random Forest Fusion
CN117314895B (zh) 缺陷检测方法、设备及计算机可读存储介质
Mitra et al. Comparison of Proposed Plant Leaf Diseases Detection Algorithm with Existing State-Of-the-Art Techniques
CN116894983B (zh) 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination