CN114863278A - 一种基于FCSA-EfficientNetV2的农作物病害识别方法 - Google Patents

一种基于FCSA-EfficientNetV2的农作物病害识别方法 Download PDF

Info

Publication number
CN114863278A
CN114863278A CN202210471953.0A CN202210471953A CN114863278A CN 114863278 A CN114863278 A CN 114863278A CN 202210471953 A CN202210471953 A CN 202210471953A CN 114863278 A CN114863278 A CN 114863278A
Authority
CN
China
Prior art keywords
convolution
fcsa
layer
disease
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210471953.0A
Other languages
English (en)
Inventor
于明
田赛
王建春
王岩
李扬
于洋
阎刚
孙海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Tianjin University of Commerce
Tianjin Academy of Agricultural Sciences
Original Assignee
Hebei University of Technology
Tianjin University of Commerce
Tianjin Academy of Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology, Tianjin University of Commerce, Tianjin Academy of Agricultural Sciences filed Critical Hebei University of Technology
Priority to CN202210471953.0A priority Critical patent/CN114863278A/zh
Publication of CN114863278A publication Critical patent/CN114863278A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种基于FCSA‑EfficientNetV2的农作物病害识别方法，该识别方法首先对农作物病害图像数据预处理，接着构建FCSA‑EfficientNetV2模型，然后将提取的特征输入到全连接层得到预测结果，最后使用带有标签平滑的交叉熵与成本敏感正则化相结合的损失函数更新模型参数并保存；所述FCSA‑EfficientNetV2模型以EfficientNetV2网络为基础，将注意力模块FCSA替换EfficientNetV2网络中MBConv模块的SE注意力模块。注意力模块FCSA先采用频域注意力获得特征在不同频域上的关注度，再使用空间注意力对频域注意力的特征进行空间上的关联，来对频域特征中需要关注的位置增强关注度，通过频域和空间注意力串联的方式构建FCSA模块，经过注意力增强的特征图输入到全连接层实现了不同作物病害及病害程度的识别。

Description

一种基于FCSA-EfficientNetV2的农作物病害识别方法
技术领域
本发明的技术方案涉及植物叶部病害的图像识别技术，具体的说是基于FCSA-EfficientNetV2(Frequency Channel Attention and Spatial Attention–EfficientNetV2)的农作物病害图像识别方法。
背景技术
目前，我国农作物病虫害防治主要通过农民对农作物喷洒防病虫害药物，但是人工喷洒药物会产生用药不当、药物喷洒过量和错过用药最佳时机等问题，这些问题可能会导致农作物产量损失严重。对病虫害的具体种类和严重程度尽早的了解，找到一种高效、精准的病虫害识别方法意义重大。于是，基于机器学习的识别方法被广泛运用到病害图像识别中。
基于图像的病害识别在初期使用传统机器学习方法手动提取病害的形状、纹理、边缘和颜色等特征进行分类。然而，这些特征提取方法由于需要手工设计，限制了识别速度和精度。相比于传统的机器学习方法，深度学习可以通过一系列卷积操作提取图片的可区分性特征，端到端将图片输入到网络中，就可以得到各病害类别的概率预测值，由于其强大的语义信息提取能力，在识别精度和速度上远远超过传统的机器学习方法。基于ImageNet图像识别任务设计的代表性深度学习网络，如AlexNet、VGG、GoogleNet、DenseNet、ResNet和ShuffleNet，及EfficientNet、Vision Transformer和ConvNeXt，被作为基线网络应用于基于图像的病害识别。CN114067313A公开了一种双线性残差网络的叶部病害识别方法，以双线性方式集成两个特征提取网络，从而提高病害识别的精确度，双线性方式得到的特征维度较高，存在冗余特征，增加了模型推理时间。
在病害程度识别的研究中，精度较高的网络模型大多存在参数量较多，推理速度较慢的问题，而轻量化的模型，在对病害程度识别时，由于模型特征提取能力不够而很难达到理想精度。农作物病害程度的识别，需要得到更多具有判别性的特征才能达到较好的效果，但复杂的网络结构会导致计算上的开销以及推理时间的增加，因此，在不降低模型推理速度的同时，兼顾网络模型的特征提取能力和复杂度来实现对农作物病害种类及程度识别是急需解决的问题。
发明内容
针对现有技术中存在的网络模型过大和每种病害程度的特征缺失，本发明所要解决的技术问题是：提出一种基于FCSA-EfficientNetV2的农作物病害识别方法，该方法设计注意力模块FCSA来提取增强特征图，注意力模块FCSA先采用频域注意力获得特征在不同频域上的关注度，再使用空间注意力对频域注意力的特征进行空间上的关联，来对频域特征中需要关注的位置增强关注度，通过频域和空间注意力串联的方式构建注意力模块FCSA，并改变FCSA在EfficientNetV2网络的核心模块MBConv(Mobile Inverted BottleneckConvolution)中的位置，即通道数较多的位置移动到通道数较少的位置，得到网络模型FCSA-EfficientNetV2，同时将最后阶段提取特征的层数由EfficientNetV2的15层缩减到8层，降低网络模型的复杂度。经过注意力增强的特征图输入到全连接层实现了不同作物病害及病害程度的识别。采用带有标签平滑的交叉熵与成本敏感正则化相结合的损失函数，来增强模型对病害程度之间的关注度，解决了网络模型对病害程度不易区分的问题。
本发明解决该技术问题所采用的技术方案是：一种基于FCSA-EfficientNetV2的农作物病害识别方法，其特征在于，该识别方法首先对农作物病害图像数据预处理，接着构建FCSA-EfficientNetV2模型，然后将提取的特征输入到全连接层得到预测结果，最后使用带有标签平滑的交叉熵与成本敏感正则化相结合的损失函数更新模型参数并保存；
所述FCSA-EfficientNetV2模型以EfficientNetV2网络为基础，将注意力模块FCSA替换EfficientNetV2网络中MBConv模块的SE注意力模块；
所述注意力模块FCSA的流程是：将输入特征图分为N组特征，对每组特征分别采用不同的频率分量在各个通道上进行离散余弦变换计算，得到N组频域特征，将得到的N组频域特征进行concat拼接；然后使用全连接层降低维数并使用ReLU激活函数，再使用全连接层增加维数至原特征的通道数并使用sigmoid激活函数，得到频域注意力特征权重；
将输入特征图的特征F与频域注意力特征权重相乘，得到频域注意力特征FFCA，使用通道维度上的平均池化处理频域注意力特征FFCA、同时使用通道维度上的最大池化处理频域注意力特征FFCA，将平均池化和最大池化处理后的特征进行特征拼接，再使用卷积核大小为7×7的卷积层将通道数调整为1层，使用sigmoid激活函数，得到频域空间位置特征权重，将频域注意力特征FFCA与频域空间位置特征权重相乘得到输出频域空间特征图FFCSA。
FCSA-EfficientNetV2模型包括23个FCSA-MBConv模块和10个Fused-MBConv卷积模块，每个FCSA-MBConv模块的流程是：输入特征→使用卷积核大小为1×1的卷积层扩展固定倍率的通道数→使用卷积核大小为3×3的深度可分离卷积提取特征→使用卷积核大小为1×1的卷积层减少通道数→得到特征图→使用频域注意力提取频域注意力特征权重→将特征图与频域注意力特征权重相乘→得到频域特征→使用空间注意力提取频域空间位置特征权重→将频域特征与空间注意力提取的频域空间位置特征权重相乘→得到频域空间特征图→经过Dropout层对特征进行随机失活操作→将得到的特征和原特征相加→得到输出特征。
一种基于FCSA-EfficientNetV2的农作物病害图像识别方法，该识别方法的具体步骤是：
第一步，对农作物病害图像数据预处理：
第1.1步，获取农作物病害数据集：
获取AI Challenger 2018农作物病害数据集，该数据集具有10个物种、26种病害，有健康、一般和严重3种病害程度，按植物种类-病害-病害程度划分方式共得到61类病害，不同病害由0到60的标签表示，其中第44、45类一共仅3张图片，由于这两类的数据量不足以支持模型学习到相关特征，因此剔除这两类，病害种类由标签由0到58表示；对数据集划分训练集和测试集；
第1.2步，为了扩充数据集，对训练集的数据进行预处理操作，包括：随即裁剪、随机水平翻转、调整图像尺寸和标准化处理；
第二步，构建FCSA-EfficientNetV2模型：
第2.1步，将上述第1.2步得到的病害图像作为网络输入，单张图像大小为224×224×3，使用卷积核大小为3×3、核步长为2的卷积层，再经过归一化BN层和SiLU激活函数，得到输出特征图F2.1，维度为112×112×24；
第2.2步，对特征图F2.1进行两次Fused-MBConv卷积操作，均采用扩张比为1、卷积核大小为3×3的卷积层，核步长为1，得到输出特征图F2.2，维度为112×112×24；
第2.3步，对特征图F2.2进行四次Fused-MBConv卷积操作，均采用扩张比为4、卷积核大小为3×3的卷积层和大小为1×1的卷积层，Dropout层和残差连接，其中仅第一次Fused-MBConv卷积操作中3×3的卷积层核步长为2，其余卷积层核步长均为1，得到输出特征图F2.3，维度为56×56×48；
第2.4步，对特征图F2.3进行四次Fused-MBConv卷积操作，均采用扩张比为4、卷积核大小为3×3的卷积层和大小为1×1的卷积层，Dropout层和残差连接；其中仅第一次Fused-MBConv卷积操作核步长为2，其余卷积层核步长均为1，得到输出特征图F2.4，维度为28×28×64；
第2.5步，对特征图F2.4进行六次FCSA-MBConv卷积操作，均采用扩张比为4、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，和卷积核大小为1×1的卷积层，注意力模块FCSA，Dropout层和残差连接；其中仅第一次FCSA-MBConv卷积操作核步长为2，其余卷积层核步长均为1，得到输出特征图F2.5，维度为14×14×128；
第2.6步，对特征图F2.5进行九次FCSA-MBConv卷积操作，均采用扩张比为6、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，和卷积核大小为1×1的卷积层，注意力模块FCSA，Dropout层和残差连接；其中卷积层核步长为1，得到输出特征图F2.6，维度为14×14×160；
第2.7步，对特征图F2.6进行八次FCSA-MBConv卷积操作，均采用扩张比为6、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，和卷积核大小为1×1的卷积层，注意力模块FCSA，Dropout层和残差连接；其中仅第一次FCSA-MBConv卷积操作核步长为2，其余卷积层核步长均为1，得到输出特征图F2.7，维度为7×7×256；
第2.8步，对特征图F2.7使用卷积核大小为1×1的卷积层进行卷积，再经过归一化BN层和SiLU激活函数，得到输出特征图为F2.8，维度为7×7×1280；
上述步骤第2.5步、第2.6步和第2.7步中FCSA-MBConv卷积操作的具体方法为：
输入特征Fin，依次经过卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，卷积核大小为1×1的卷积层，注意力模块FCSA和Dropout层，最后使用残差连接，得到经过一次FCSA-MBConv卷积操作的特征Fout，如公式(1)所示：
Fout＝φdrop(φfcsa(C1(Cdw(C1(Fin)))))+Fin (1)
其中：C1为卷积核大小为1×1的卷积层，Cdw为卷积核大小为3×3的深度可分离卷积层，φfcsa为注意力模块FCSA，φdrop为Dropout层；
具体地，公式(1)中φfcsa的具体方法为：
首先构建频域注意力：对输入特征F按通道数划分为N组，每一组采用不同的频率分量对该组的各个通道计算二维离散余弦变换频率分量和，得到的第i组频域分量和DCTi，如公式(2)所示：
Figure BDA0003623006120000041
其中：H和W分别代表特征图的高和宽，h和w分别代表特征图高和宽的坐标，Fi代表特征F中第i组特征，ui和vi代表第i组所使用的频率分量组合；
将所有组的每个通道计算的频率分量和DCTi进行拼接，则特征F在频域上的频域注意力操作为φfca，如公式(3)所示：
φfca＝F*(σ(φfc(r(φfc(concat([DCT0，DCT1，…，DCTN-1])))))) (3)
其中：DCT为频率分量和，φfc代表全连接层，r代表ReLU激活函数，σ代表sigmoid激活函数；concat()为通道拼接；
接着构建空间注意力：特征F通过φfca得到频域注意力特征FFCA，对频域注意力特征FFCA在通道维度上分别进行最大池化和平均池化操作得到两个特征图，拼接之后经过卷积核大小为7×7的卷积层和sigmoid激活函数，频域注意力特征FFCA在空间上的空间注意力操作为φfcsa如公式(4)所示：
φfcsa＝FFCA*(σ(φ7(concat([Avg(FFCA)，Max(FFCA)])))) (4)
其中：Avg代表通道上的平均池化，Max代表通道上的最大池化，concat()为通道拼接，φ7代表卷积核大小为7×7的卷积层，σ代表sigmoid激活函数；实现特征F在频域和空间上的注意力操作；
第2.9步，特征图F2.8经过自适应平均池化层，得到输出特征图为F2.9，维度为1×1×1280：
第2.10步，特征图F2.9经过一层全连接层，一层Dropout层，一层全连接层和softmax激活函数，得到输出的分类结果为PGlobal，如公式(5)所示：
PGlobal＝softmax(φfc2(φdropout(φfc1(F2.9)))) (5)
其中：φfc1是输出维度为512的全连接操作，φdropout为随机失活函数，φfc2是输出维度为59的全连接操作；
至此获得FCSA-EfficientNetV2模型；
第三步，使用带有标签平滑的交叉熵与成本敏感正则化相结合的损失函数来计算第2.17步输出的预测值与真实值之间的损失：
第四步，通过第三步所构造的损失函数来训练FCSA-EfficientNetV2模型，获得使验证集精度最高的模型参数，并保存；
第五步，将待识别的农作物病害图像输入到训练好的FCSA-EfficientNetV2模型中，实现对农作物病害图像种类、病害、病害程度的识别。
进一步地，第二步中，在第2.10步获得对整体59类植物种类-病害-病害程度的全局预测，之后再对59类植物种类-病害-病害程度进行局部预测，将全局预测和局部预测进行融合获得最终的分类结果；同时对36类植物种类-病害-是否健康进行局部预测；具体过程是：
第2.11步，特征图F2.7经过卷积核大小为1×1的卷积层，得到输出特征图为F2.10，维度为7×7×256，特征图F2.6经过卷积核大小为1×1的卷积层，得到输出特征图为F2.11，维度为14×14×256，将特征图F2.10通过上采样的方式放大到与特征图F2.11相同大小并与F2.11相加得到融合特征图F2.12，维度为14×14×256；
第2.12步，对融合特征图F2.12使用卷积核大小为3×3的卷积层减少上采样的混叠效应，然后使用卷积核大小为1×1的卷积层，再经过归一化BN层和SiLU激活函数，得到输出特征图为F2.13，维度为14×14×1280；
第2.13步，特征图F2.13经过自适应平均池化层，一层Dropout层，一层输出维度为36的全连接层，softmax激活函数，得到局部分类结果PLocal36；
第2.14步，特征图F2.5经过卷积核大小为1×1的卷积层，得到输出特征图为F2.14，维度为14×14×256，特征图F2.14与融合特征图F2.12相加得到融合特征图F2.15；
第2.15步，对融合特征图F2.15使用卷积核大小为3×3的卷积层减少上采样的混叠效应，然后使用卷积核大小为1×1的卷积层，再经过归一化BN层和SiLU激活函数，得到输出特征图为F2.16，维度为14×14×1280；
第2.16步，特征图F2.16经过自适应平均池化层，一层Dropout层，一层输出维度为59的全连接层，softmax激活函数，得到局部分类结果PLocal59；
第2.17步，将第2.10步获得的全局分类结果PGlobal和局部分类结果PLocal59相加求均值得到最终59类的分类结果P59；
将全局分类结果PGlobal中按照植物种类-病害-是否健康对病害子类预测结果进行相加，使维度由59转换到36，然后与局部分类结果PLocal36相加求均值得到最终36类植物种类-病害-是否健康的预测结果P36。
进一步地，预测值与真实值之间的损失的计算过程是：
(1)带有标签平滑的交叉熵函数LBCE(y)，表示类别预测值与实际值的损失，如公式(6)所示：
Figure BDA0003623006120000051
其中：
Figure BDA0003623006120000052
为类别预测值，y为各类别对应的真实值，对于正确的类，yc为1，其他类yc为0，ε为标签平滑参数，C为病害类别的个数；
(2)成本敏感正则化CS(y)项，表示类别预测值与成本敏感矩阵之间的乘积，如公式(7)所示：
Figure BDA0003623006120000053
其中：
Figure BDA0003623006120000054
为类别预测值，y*为真实值为1对应的索引，λ为加权因子，M为构建的成本敏感矩阵；
成本敏感矩阵M的构建：在一种病害中，其病害程度一般和病害程度严重难以区分，所以采用增加权值来对每种预测错误引入不同的惩罚；当对一张某种植物的健康图像进行预测的时候，在构建的成本敏感矩阵中，其预测正确的权值为0，预测为病害程度一般对应的权值为1，预测为病害程度严重的权值为2，预测为该植物种类的其他病害的权值为3，预测为其他植物种类的权值为4，这表示对真实值预测距离越远其权值越大，因此对59类病害的预测，M是大小为59×59的二维矩阵，行和列分别为对应59种病害，Mcj表示类别c预测为类别j的成本敏感权重，公式(7)计算时仅对59类分类结果计算M中对应y*行与
Figure BDA0003623006120000061
的标量积得到正则化项；
(3)最终损失函数losstotal如公式(8)所示：
Figure BDA0003623006120000062
具体地，本发明所述带有标签平滑的交叉熵的平滑参数ε为0.1，成本敏感正则化矩阵的权值λ为0.5。
上述基于FCSA-EfficientNetV2农作物病害图像识别方法，其中的EfficientNetV2，为本技术领域公知的算法。
与现有的方法相比，本发明的有益效果是：
本发明在精度和速度方面的表现都比较出色。本发明提出的一种基于FCSA-EfficientNetV2的农作物病害图像识别方法，在农作物病害和其病害程度的识别中，相比其他仅对病害种类进行识别的网络，本发明可以在难以区分的病害程度上取得较高的识别精度，同时能够提高网络的推理速度，较EfficientNetV2网络在识别精度和速度上都有较大的提升，本发明将注意力位置移动到降低通道数的卷积层之后，将频率注意力和空间注意力有机结合，避免出现特征偏向通道或空间注意力中占比较大的部分而导致的提取的语义信息不够充分的问题，同时将最后阶段提取特征的层数由15层缩减到8层，使参数量缩减40％以上，并提高了推理速度。所提出的成本敏感正则化可以使模型对病害程度一般和严重的错误预测更加关注，解决了网络模型对病害程度不易区分的问题。找到对病害特征提取能力较强的注意力模块和对病害程度关注的损失函数。
进一步地，本发明识别方法通过先对整体59类病害程度进行全局预测，同时采用层级分类的方法，采用自上而下的分类结构对36类病害进行局部预测，再对59类病害程度进行局部预测，层级分类对36种病害进行识别准确率也可以达到98％以上，也保证了精度和速度的兼顾。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明基于FCSA-EfficientNetV2农作物病害图像识别方法的整体流程图。
图2是本发明第二步所构建的FCSA-MBConv中的FCSA注意力模块图。
图3是本发明第二步提取特征所构建的FCSA-MBConv特征提取模块图。
图4是本发明一种实施例所构建的FCSA-EfficientNetV2网络模型。
具体实施方式
图1实施例所示，本发明基于FCSA-EfficientNetV2农作物病害图像识别方法的整体流程如下：
输入病害图像→进行在线数据增强预处理→通过FCSA-EfficientNetV2提取特征并输出预测值→使用优化的损失函数计算预测值和真实值之间的损失→保存模型最优参数→将测试集输入FCSA-EfficientNetV2模型进行预测→得到分类结果。
图2实施例所示，本发明所构建的FCSA-MBConv中的FCSA注意力模块流程如下：
输入特征F→将特征图分为N组特征→对每组特征分别采用不同的频率分量在各个通道上进行离散余弦变换计算→将得到的N组频域特征进行concat拼接→使用全连接层降低维数并使用ReLU激活函数→使用全连接层增加维数至原特征的通道数并使用sigmoid激活函数→得到频域注意力特征权重→将输入特征F与频域注意力特征权重相乘→得到频域注意力特征FFCA→使用通道维度上的平均池化处理频域特征FFCA、同时使用通道维度上的最大池化处理频域特征FFCA→将平均池化和最大池化的特征拼接→使用卷积核大小为7×7的卷积层将通道数调整为1层→使用sigmoid激活函数→得到频域空间位置特征权重→将频域特征FFCA与频域空间位置特征权重相乘→得到输出特征图FFCSA。
图3实施例所示，本发明所构建的FCSA-MBConv模块流程如下：
输入特征F→使用卷积核大小为1×1的卷积层扩展固定倍率的通道数→使用卷积核大小为3×3的深度可分离卷积提取特征→使用卷积核大小为1×1的卷积层减少通道数→得到特征图FMBC→使用频域注意力提取频域注意力特征权重→将特征图FMBC与频域注意力特征权重相乘→得到频域特征FFCA→使用空间注意力提取频域空间位置特征权重→将频域特征FFCA与空间注意力提取的频域空间位置特征权重相乘→得到频域空间特征图FFCSA→经过Dropout层对特征进行随机失活操作→将得到的特征和原特征F相加→得到输出特征FFCSAMBC。
图4实施例所示，发明所构建的FCSA-EfficientNetV2网络模型结构如下：
整体的网络模型包括2个卷积模块、10个Fused-MBConv卷积模块、23个FCSA-MBConv卷积模块、1个全局平均池化和2个全连接层。其中，FCSA-MBConv卷积模块的构建如图3所示，FCSA-MBConv卷积模块中的FCSA注意力模块如图2所示。网络具体的正向传播过程如图4所示，首先输入预处理大小为224×224×3的图像，
第一步进行卷积核大小为3×3、步长为2的卷积层，归一化BN层和SiLU激活函数，得到特征图大小为112×112×24；
第二步使用2个Fused-MBConv卷积模块，其中这两个Fused-MBConv卷积模块采用扩张率为1、卷积核大小为3×3的卷积层，卷积核大小为1×1的卷积层，Dropout层和残差连接构成，得到第二步输出的特征图大小为112×112×24；
第三步使用4个Fused-MBConv卷积模块，其中这四个Fused-MBConv卷积模块采用扩张率为4、卷积核大小为3×3的卷积层，卷积核大小为1×1的卷积层，Dropout层和残差连接构成，仅在第一个Fused-MBConv卷积模块中3×3的卷积层采用的核步长2，其余Fused-MBConv卷积模块的所有的卷积层的核步长均为1，得到第三步输出的特征图大小为56×56×48；
第四步使用4个Fused-MBConv卷积模块，其中这四个Fused-MBConv卷积模块采用扩张率为4、卷积核大小为3×3的卷积层，卷积核大小为1×1的卷积层，Dropout层和残差连接构成，仅在第一个Fused-MBConv卷积中3×3的卷积层采用的核步长2，其余Fused-MBConv卷积模块的所有的卷积层核步长均为1，得到第四步输出的特征图大小为28×28×64；
第五步使用6个FCSA-MBConv卷积模块，其中模块采用扩张率为4、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积层，卷积核大小为1×1的卷积层，FCSA注意力模块，Dropout层和残差连接构成，仅在第一个FCSA-MBConv卷积模块的深度可分离卷积层采用的核步长为2，其余FCSA-MBConv卷积模块中的所有卷积层(包括3×3的深度可分离卷积层、卷积核大小为1×1的卷积层、7×7的卷积层)核步长均为1，得到第五步输出的特征图大小为14×14×128；
第六步使用9个FCSA-MBConv卷积模块，其中模块采用扩张率为6、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积层，卷积核大小为1×1的卷积层，FCSA注意力模块，Dropout层和残差连接构成，得到第六步输出的特征图大小为14×14×160；所有卷积层的核步长均为1；
第七步使用8个FCSA-MBConv卷积模块，其中模块采用扩张率为6、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积层，卷积核大小为1×1的卷积层，FCSA注意力模块，Dropout层和残差连接构成，仅在第一个FCSA-MBConv卷积模块的深度可分离卷积层采用的核步长为2，其余FCSA-MBConv卷积模块中的所有卷积层核步长均为1，得到第七步输出的特征图大小为7×7×256；
第八步进行卷积核大小为1×1的卷积层，归一化BN层和SiLU激活函数，得到特征图大小为7×7×1280；
第九步进行全局平均池化GAP，一层输出维度为512的全连接层，Dropout层，一层输出维度为59的全连接层和softmax激活函数得到全局59种病害分类结果。
第十步将第七步得到的特征图经过卷积核大小为1×1的卷积层，并通过上采样(up-sampling)的方式放大到14×14×256，将第六步得到的特征图经过卷积核大小为1×1的卷积层，与通过上采样的特征图相加得到融合特征图，大小为14×14×256；
第十一步将第十步得到的融合特征图经过卷积核大小为3×3的卷积层减少上采样的混叠效应，再经过卷积核大小为1×1的卷积层，归一化BN层和SiLU激活函数，得到特征图大小为14×14×1280；
第十二步将第十一步得到的特征图经过自适应平均池化层，一层Dropout层，一层输出维度为36的全连接层，softmax激活函数，得到局部36种病害分类结果；
第十三步将第五步得到的特征图经过卷积核大小为1×1的卷积层，与第十步得到的融合特征图相加得到融合特征图，大小为14×14×256；
第十四步将第十三步得到的融合特征图经过卷积核大小为3×3的卷积层，再经过卷积核大小为1×1的卷积层，归一化BN层和SiLU激活函数，得到特征图大小为14×14×1280；
第十五步将第十四步得到的特征图经过自适应平均池化层，一层Dropout层，一层输出维度为59的全连接层，softmax激活函数，得到局部59种病害分类结果；
将全局59种病害分类结果和局部59种病害分类结果相加求均值得到最终59类的分类结果P59；将全局59种病害分类结果中按照植物种类-病害-是否健康对病害子类预测结果进行相加，使维度由59转换到36，然后与局部36种病害分类结果相加求均值得到最终36类植物种类-病害-是否健康的预测结果P36。
将待测试的作物图片输入到训练好的模型中对农作物病害程度进行分类，其中具体类别按植物种类-病害-病害程度划分，分别输出当前待测试的作物为哪种作物、出现什么病害、病害程度，同时也能给出当前待测试的作物为哪种作物、是否健康、不健康时的病害种类的结果，实现对病害程度的识别。
实施例1
本实施例基于FCSA-EfficientNetV2农作物病害图像识别方法具体步骤如下：
第一步，对农作物病害图像数据预处理：
第1.1步，获取农作物病害数据集：获取AI Challenger 2018农作物病害数据集，该数据集有苹果、葡萄、柑橘等10个物种，有黑星病、黑腐病、黄龙病等26种病害，有健康、一般和严重3种病害程度，按植物种类-病害-病害程度划分方式共得到61类病害，包含训练集31721张，验证集4540张，不同病害由0到60的标签表示，其中第44、45类一共仅3张图片，由于这两类的数据量不足以支持模型学习到相关特征，因此剔除这两类，病害种类由标签由0到58表示；
第1.2步，为了扩充数据集，对训练集的数据进行预处理操作，包括：随即裁剪、随机水平翻转、调整图像尺寸和标准化处理；
第二步，构建FCSA-EfficientNetV2模型：
第2.1步，将上述第1.2步得到的病害图像作为网络输入，单张图像大小为224×224×3，使用卷积核大小为3×3、核步长为2的卷积层，再经过归一化BN层和SiLU激活函数，得到输出特征图F2.1，维度为112×112×24；
第2.2步，对特征图F2.1进行两次Fused-MBConv卷积操作，均采用扩张比为1、卷积核大小为3×3的卷积层，核步长为1，得到输出特征图F2.2，维度为112×112×24；
第2.3步，对特征图F2.2进行四次Fused-MBConv卷积操作，均采用扩张比为4、卷积核大小为3×3的卷积层和大小为1×1的卷积层，Dropout层和残差连接，其中仅第一次Fused-MBConv卷积操作中3×3的卷积层核步长为2，其余卷积层核步长均为1，得到输出特征图F2.3，维度为56×56×48；
第2.4步，对特征图F2.3进行四次Fused-MBConv卷积操作，均采用扩张比为4、卷积核大小为3×3的卷积层和大小为1×1的卷积层，Dropout层和残差连接，其中仅第一次Fused-MBConv卷积操作核步长为2，其余卷积层核步长均为1，得到输出特征图F2.4，维度为28×28×64；
第2.5步，对特征图F2.4进行六次FCSA-MBConv卷积操作，均采用扩张比为4、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，和卷积核大小为1×1的卷积层，FCSA注意力，Dropout层和残差连接，其中仅第一次FCSA-MBConv卷积操作核步长为2，其余卷积层核步长均为1，得到输出特征图F2.5，维度为14×14×128；
第2.6步，对特征图F2.5进行九次FCSA-MBConv卷积操作，均采用扩张比为6、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，和卷积核大小为1×1的卷积层，FCSA注意力，Dropout层和残差连接，其中卷积层核步长为1，得到输出特征图F2.6，维度为14×14×160；
第2.7步，对特征图F2.6进行八次FCSA-MBConv卷积操作，均采用扩张比为6、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，和卷积核大小为1×1的卷积层，FCSA注意力，Dropout层和残差连接，其中仅第一次FCSA-MBConv卷积操作核步长为2，其余卷积层核步长均为1，得到输出特征图F2.7，维度为7×7×256；
第2.8步，对特征图F2.7使用卷积核大小为1×1的卷积层进行卷积，再经过归一化BN层和SiLU激活函数，得到输出特征图为F2.8，维度为7×7×1280；
上述步骤第2.5步、第2.6步和第2.7步中FCSA-MBConv卷积操作的具体方法为：
输入特征Fin，依次经过卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，卷积核大小为1×1的卷积层，注意力模块FCSA和Dropout层，最后使用残差连接，得到经过一次FCSA-MBConv卷积操作的特征Fout，如公式(1)所示：
Fout＝φdrop(φfcsa(C1(Cdw(C1(Fin)))))+Fin (1)
其中：C1为卷积核大小为1×1的卷积层，Cdw为卷积核大小为3×3的深度可分离卷积层，φfcsa为注意力模块FCSA，φdrop为Dropout层；
具体地，公式(1)中φfcsa的具体方法为：
首先构建频域注意力：对输入特征F按通道数划分为N组，每一组采用不同的频率分量对该组的各个通道计算二维离散余弦变换频率分量和，得到的第i组频域分量和DCTi，如公式(2)所示：
Figure BDA0003623006120000101
其中：H和W分别代表特征图的高和宽，h和w分别代表特征图高和宽的坐标，Fi代表特征F中第i组特征，ui和vi代表第i组所使用的频率分量组合；
将所有组的每个通道计算的频率分量和DCTi进行拼接，得到特征F在频域上的频域注意力操作为φfca，如公式(3)所示：
φfca＝F*(σ(φfc(r(φfc(concat([DCT0，DCT1，…，DCTN-1])))))) (3)
其中：DCT为频率分量和，φfc代表全连接层，r代表ReLU激活函数，σ代表sigmoid激活函数；concat()为通道拼接；
接着构建空间注意力：特征F通过φfca得到频域注意力特征FFCA，对频域注意力特征FFCA在通道维度上分别进行最大池化和平均池化操作得到两个特征图，拼接之后经过卷积核大小为7×7的卷积层和sigmoid激活函数，频域注意力特征FFCA在空间上的空间注意力操作为φfcsa如公式(4)所示：
φfcsa＝FFCA*(σ(φ7(concat([Avg(FFCA)，Max(FFCA)])))) (4)
其中：Avg代表通道上的平均池化，Max代表通道上的最大池化，concat()为通道拼接，φ7代表卷积核大小为7×7的卷积层，σ代表sigmoid激活函数；
实现特征F在频域和空间上的注意力操作；
第2.9步，特征图F2.8经过自适应平均池化层，得到输出特征图为F2.9，维度为1×1×1280；
第2.10步，特征图F2.9经过一层全连接层，一层Dropout层，一层全连接层和softmax激活函数，得到输出的分类结果为PGlobal，如公式(5)所示：
PGlobal＝softmax(φfc2(φdropout(φfc1(F2.9)))) (5)
其中：φfc1是输出维度为512的全连接操作，φdropout为随机失活函数，φfc2是输出维度为59的全连接操作；
第2.11步，特征图F2.7经过卷积核大小为1×1的卷积层，得到输出特征图为F2.10，维度为7×7×256，特征图F2.6经过卷积核大小为1×1的卷积层，得到输出特征图为F2.11，维度为14×14×256，将特征图F2.10通过上采样(up-sampling)的方式放大到与特征图F2.11相同大小并与F2.11相加得到融合特征图F2.12，维度为14×14×256；
第2.12步，对融合特征图F2.12使用卷积核大小为3×3的卷积层减少上采样的混叠效应，然后使用卷积核大小为1×1的卷积层，再经过归一化BN层和SiLU激活函数，得到输出特征图为F2.13，维度为14×14×1280；
第2.13步，特征图F2.13经过自适应平均池化层，一层Dropout层，一层输出维度为36的全连接层，softmax激活函数，得到分类结果PLocal36；
第2.14步，特征图F2.5经过卷积核大小为1×1的卷积层，得到输出特征图为F2.14，维度为14×14×256，特征图F2.14与融合特征图F2.12相加得到融合特征图F2.15；
第2.15步，对融合特征图F2.15使用卷积核大小为3×3的卷积层减少上采样的混叠效应，然后使用卷积核大小为1×1的卷积层，再经过归一化BN层和SiLU激活函数，得到输出特征图为F2.16，维度为14×14×1280；
第2.16步，特征图F2.16经过自适应平均池化层，一层Dropout层，一层输出维度为59的全连接层，softmax激活函数，得到局部分类结果PLocal59；
第2.17步，将第2.10步获得的全局分类结果PGlobal和局部分类结果PLocal59相加求均值得到最终59类的分类结果P59；
将全局分类结果PGlobal中按照植物种类-病害-是否健康对病害子类预测结果进行相加，使维度由59转换到36，然后与局部分类结果PLocal36相加求均值得到最终36类植物种类-病害-是否健康的预测结果P36。
36类是指数据集按照植物种类-病害-是否有病进行划分。
第三步，使用带有标签平滑的交叉熵与成本敏感正则化相结合的损失函数来计算第2.10步输出的预测值与真实值之间的损失：
第3.1步，由1.1步可知，农作物病害数据集，病害类别标签为0～58，其中0～5为苹果病害种类及程度，6～8为樱桃病害种类及程度，9～16为玉米病害种类及程度，17～23为葡萄病害种类及程度，24～26为柑橘病害种类及程度，27～29为桃病害种类及程度，30～32为辣椒病害种类及程度，33～37为马铃薯病害种类及程度，38～40为草莓病害种类及程度，41～58为番茄病害种类及程度，具体36类病害如表1，具体59类病害及程度如表2；
表1 36类病害
标签 分类名 标签 分类名 标签 分类名
0 苹果健康 12 葡萄黑腐病 24 草莓健康
1 苹果黑星病 13 葡萄轮班病 25 草莓叶枯病
2 苹果灰斑病 14 葡萄褐斑病 26 番茄健康
3 苹果雪松锈病 15 柑橘健康 27 番茄白粉病
4 樱桃健康 16 柑橘黄龙病 28 番茄早疫病
5 樱桃白粉病 17 桃健康 29 番茄晚疫病
6 玉米健康 18 桃疮痂病 30 番茄叶霉病
7 玉米灰斑病 19 辣椒健康 31 番茄斑点病
8 玉米锈病 20 辣椒疮痂病 32 番茄斑枯病
9 玉米叶斑病 21 马铃薯健康 33 番茄红蜘蛛损伤
10 玉米花叶病毒病 22 马铃薯早疫病 34 番茄黄化曲叶病毒病
11 葡萄健康 23 马铃薯晚疫病 35 番茄花叶病毒病
表2 59类病害及程度
Figure BDA0003623006120000121
Figure BDA0003623006120000131
第3.2步，计算预测值与真实值之间的损失，包括：
(1)带有标签平滑的交叉熵函数LBCE(y)，表示类别预测值与实际值的损失，如公式(6)所示：
Figure BDA0003623006120000132
其中：
Figure BDA0003623006120000133
为类别预测值，y为各类别对应的真实值，对于正确的类，yc为1，其他类yc为0，ε为标签平滑参数，C为病害类别的个数；
(2)成本敏感正则化CS(y)项，表示类别预测值与成本敏感矩阵之间的乘积，如公式(7)所示：
Figure BDA0003623006120000134
其中：
Figure BDA0003623006120000135
为类别预测值，y*为真实值为1对应的索引，λ为加权因子，M为构建的成本敏感矩阵；
(3)最终损失函数如公式(8)所示：
Figure BDA0003623006120000136
其中：
Figure BDA0003623006120000137
为类别预测值，
Figure BDA0003623006120000138
中y为各类别对应真实值，
Figure BDA0003623006120000139
中y为真实值为1所对应的索引；
具体地，本发明所述的步骤第4.2中：
公式(9)中成本敏感矩阵M的构建：在一种病害中，其病害程度一般和病害程度严重难以区分，所以我们采用增加权值来对每种预测错误引入不同的惩罚；例如当对一张某种植物的健康图像进行预测的时候，在构建的成本敏感矩阵中，其预测正确的权值为0，预测为病害程度一般对应的权值为1，预测为病害程度严重的权值为2，预测为该植物种类的其他病害的权值为3，预测为其他植物种类的权值为4，这表示对真实值预测距离越远其权值越大，因此对59类病害的预测，M是大小为59×59的二维矩阵，行和列分别为对应59种病害，Mcj表示类别c预测为类别j的成本敏感权重，公式(7)计算时仅对59类分类结果计算M中对应y行与
Figure BDA00036230061200001310
的标量积得到正则化项；
第五步，通过第四步所构造的损失函数来训练第二和第三步构造的FCSA-EfficientNetV2网络，获得使验证集精度最高的模型参数，并保存；
具体地，本发明所述的步骤第五步中采用的训练方法为：
在训练整个网络过程中，输入图像大小为224×224，batch size大小为64，迭代次数设置为200，采用SGD优化器，初始学习率为0.001，动量因子为0.9，学习率衰减采用余弦退火的方法；
至此，基于FCSA-EfficientNetV2的农作物病害图像识别完成。
具体地，本发明所述的第四步中带有标签平滑的交叉熵的平滑参数ε为0.1，成本敏感正则化矩阵的权值λ为0.5。
上述基于FCSA-EfficientNetV2农作物病害图像识别方法，其中的EfficientNetV2，为本技术领域公知的算法。
本实施例预测方法相对于现有的ResNet-50、EfficientNetV2-S、SwinTransformer-Tiny和ConvNeXt-Tiny结构相比，准确率显著提升的同时推理速度也得到了大幅度的提升，减少了参数量，本申请方法能够在保持相对高的准确率情况下，兼顾了网络模型的特征提取能力和复杂度。
本发明方法针对多种植物病害及其程度进行识别，设计注意力增强模块同时改变注意力的位置，并减少卷积层数，来改进EfficientNetV2算法，获得FSCA-EfficientNetV2，能实现对病害判别性特征的提取并降低网络结构的复杂度；先对整体59类病害程度进行全局预测，同时采用层级分类的方式，采用自上而下的分类结构分别对36类病害、59类病害进行局部预测，再将局部预测结果与全局预测结果进行相应融合获得最终的识别结果；再加上引入带有标签平滑的交叉熵与成本敏感的正则化方法相结合的损失函数，来增强模型对病害程度之间的关注度，解决了网络模型对病害识别率低和病害程度不易区分的问题。
本发明未述及之处适用于现有技术。

Claims (8)

1.一种基于FCSA-EfficientNetV2的农作物病害识别方法，其特征在于，该识别方法首先对农作物病害图像数据预处理，接着构建FCSA-EfficientNetV2模型，然后将提取的特征输入到全连接层得到预测结果，最后使用带有标签平滑的交叉熵与成本敏感正则化相结合的损失函数更新模型参数并保存；
所述FCSA-EfficientNetV2模型以EfficientNetV2网络为基础，将注意力模块FCSA替换EfficientNetV2网络中MBConv模块的SE注意力模块；
所述注意力模块FCSA的流程是：将输入特征图分为N组特征，对每组特征分别采用不同的频率分量在各个通道上进行离散余弦变换计算，得到N组频域特征，将得到的N组频域特征进行concat拼接；然后使用全连接层降低维数并使用ReLU激活函数，再使用全连接层增加维数至原特征的通道数并使用sigmoid激活函数，得到频域注意力特征权重；
将输入特征图的特征F与频域注意力特征权重相乘，得到频域注意力特征FFCA，使用通道维度上的平均池化处理频域注意力特征FFCA、同时使用通道维度上的最大池化处理频域注意力特征FFCA，将平均池化和最大池化处理后的特征进行特征拼接，再使用卷积核大小为7×7的卷积层将通道数调整为1层，使用sigmoid激活函数，得到频域空间位置特征权重，将频域注意力特征FFCA与频域空间位置特征权重相乘得到输出频域空间特征图FFCSA。
2.根据权利要求1所述的基于FCSA-EfficientNetV2的农作物病害识别方法，其特征在于，FCSA-EfficientNetV2模型包括23个FCSA-MBConv模块和10个Fused-MBConv卷积模块，每个FCSA-MBConv模块的流程是：输入特征→使用卷积核大小为1×1的卷积层扩展固定倍率的通道数→使用卷积核大小为3×3的深度可分离卷积提取特征→使用卷积核大小为1×1的卷积层减少通道数→得到特征图→使用频域注意力提取频域注意力特征权重→将特征图与频域注意力特征权重相乘→得到频域特征→使用空间注意力提取频域空间位置特征权重→将频域特征与空间注意力提取的频域空间位置特征权重相乘→得到频域空间特征图→经过Dropout层对特征进行随机失活操作→将得到的特征和原特征相加→得到输出特征。
3.一种基于FCSA-EfficientNetV2的农作物病害图像识别方法，该识别方法的具体步骤是：
第一步，对农作物病害图像数据预处理：
第1.1步，获取农作物病害数据集：
获取AI Challenger 2018农作物病害数据集，该数据集具有10个物种、26种病害，有健康、一般和严重3种病害程度，按植物种类-病害-病害程度划分方式共得到61类病害，不同病害由0到60的标签表示，其中第44、45类一共仅3张图片，由于这两类的数据量不足以支持模型学习到相关特征，因此剔除这两类，病害种类由标签由0到58表示；对数据集划分训练集和测试集；
第1.2步，为了扩充数据集，对训练集的数据进行预处理操作，包括：随即裁剪、随机水平翻转、调整图像尺寸和标准化处理；
第二步，构建FCSA-EfficientNetV2模型：
第2.1步，将上述第1.2步得到的病害图像作为网络输入，单张图像大小为224×224×3，使用卷积核大小为3×3、核步长为2的卷积层，再经过归一化BN层和SiLU激活函数，得到输出特征图F2.1，维度为112×112×24；
第2.2步，对特征图F2.1进行两次Fused-MBConv卷积操作，均采用扩张比为1、卷积核大小为3×3的卷积层，核步长为1，得到输出特征图F2.2，维度为112×112×24；
第2.3步，对特征图F2.2进行四次Fused-MBConv卷积操作，均采用扩张比为4、卷积核大小为3×3的卷积层和大小为1×1的卷积层，Dropout层和残差连接，其中仅第一次Fused-MBConv卷积操作中3×3的卷积层核步长为2，其余卷积层核步长均为1，得到输出特征图F2.3，维度为56×56×48；
第2.4步，对特征图F2.3进行四次Fused-MBConv卷积操作，均采用扩张比为4、卷积核大小为3×3的卷积层和大小为1×1的卷积层，Dropout层和残差连接；其中仅第一次Fused-MBConv卷积操作核步长为2，其余卷积层核步长均为1，得到输出特征图F2.4，维度为28×28×64；
第2.5步，对特征图F2.4进行六次FCSA-MBConv卷积操作，均采用扩张比为4、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，和卷积核大小为1×1的卷积层，注意力模块FCSA，Dropout层和残差连接；其中仅第一次FCSA-MBConv卷积操作核步长为2，其余卷积层核步长均为1，得到输出特征图F2.5，维度为14×14×128；
第2.6步，对特征图F2.5进行九次FCSA-MBConv卷积操作，均采用扩张比为6、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，和卷积核大小为1×1的卷积层，注意力模块FCSA，Dropout层和残差连接；其中卷积层核步长为1，得到输出特征图F2.6，维度为14×14×160；
第2.7步，对特征图F2.6进行八次FCSA-MBConv卷积操作，均采用扩张比为6、卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，和卷积核大小为1×1的卷积层，注意力模块FCSA，Dropout层和残差连接；其中仅第一次FCSA-MBConv卷积操作核步长为2，其余卷积层核步长均为1，得到输出特征图F2.7，维度为7×7×256；
第2.8步，对特征图F2.7使用卷积核大小为1×1的卷积层进行卷积，再经过归一化BN层和SiLU激活函数，得到输出特征图为F2.8，维度为7×7×1280；
上述步骤第2.5步、第2.6步和第2.7步中FCSA-MBConv卷积操作的具体方法为：
输入特征Fin，依次经过卷积核大小为1×1的卷积层，卷积核大小为3×3的深度可分离卷积，卷积核大小为1×1的卷积层，注意力模块FCSA和Dropout层，最后使用残差连接，得到经过一次FCSA-MBConv卷积操作的特征Fout，如公式(1)所示：
Fout＝φdrop(φfcsa(C1(Cdw(C1(Fin)))))+Fin (1)
其中：C1为卷积核大小为1×1的卷积层，Cdw为卷积核大小为3×3的深度可分离卷积层，φfcsa为注意力模块FCSA，φdrop为Dropout层；
具体地，公式(1)中φfcsa的具体方法为：
首先构建频域注意力：对输入特征F按通道数划分为N组，每一组采用不同的频率分量对该组的各个通道计算二维离散余弦变换频率分量和，得到的第i组频域分量和DCTi，如公式(2)所示：
Figure RE-FDA0003699572000000031
其中：H和W分别代表特征图的高和宽，h和w分别代表特征图高和宽的坐标，Fi代表特征F中第i组特征，ui和vi代表第i组所使用的频率分量组合；
将所有组的每个通道计算的频率分量和DCTi进行拼接，则特征F在频域上的频域注意力操作为φfca，如公式(3)所示：
φfca＝F*(σ(φfc(r(φfc(concat([DCT0，DCT1，…，DCTN-1])))))) c3)
其中：DCT为频率分量和，φfc代表全连接层，r代表ReLU激活函数，σ代表sigmoid激活函数；concat()为通道拼接；
接着构建空间注意力：特征F通过φfca得到频域注意力特征FFCA，对频域注意力特征FFCA在通道维度上分别进行最大池化和平均池化操作得到两个特征图，拼接之后经过卷积核大小为7×7的卷积层和sigmoid激活函数，频域注意力特征FFCA在空间上的空间注意力操作为φfcsa如公式(4)所示：
φfcsa＝FFCA*(σ(φ7(concat([Avg(FFCA)，Max(FFCA)])))) (4)
其中：Avg代表通道上的平均池化，Max代表通道上的最大池化，concat()为通道拼接，φ7代表卷积核大小为7×7的卷积层，σ代表sigmoid激活函数；实现特征F在频域和空间上的注意力操作；
第2.9步，特征图F2.8经过自适应平均池化层，得到输出特征图为F2.9，维度为1×1×1280；
第2.10步，特征图F2.9经过一层全连接层，一层Dropout层，一层全连接层和softmax激活函数，得到输出的分类结果为PGlobal，如公式(5)所示：
PGlobal＝softmax(φfc2(φdropout(φfc1(F2.9)))) (5)
其中：φfc1是输出维度为512的全连接操作，φdropout为随机失活函数，φfc2是输出维度为59的全连接操作；
至此获得FCSA-EfficientNetV2模型；
第三步，使用带有标签平滑的交叉熵与成本敏感正则化相结合的损失函数来计算第2.17步输出的预测值与真实值之间的损失：
第四步，通过第三步所构造的损失函数来训练FCSA-EfficientNetV2模型，获得使验证集精度最高的模型参数，并保存；
第五步，将待识别的农作物病害图像输入到训练好的FCSA-EfficientNetV2模型中，实现对农作物病害图像种类、病害、病害程度的识别。
4.根据权利要求3所述的基于FCSA-EfficientNetV2的农作物病害图像识别方法，其特征在于，第二步中，在第2.10步获得对整体59类植物种类-病害-病害程度的全局预测，之后再对59类植物种类-病害-病害程度进行局部预测，将全局预测和局部预测进行融合获得最终的分类结果；同时对36类植物种类-病害-是否健康进行局部预测；具体过程是：
第2.11步，特征图F2.7经过卷积核大小为1×1的卷积层，得到输出特征图为F2.10，维度为7×7×256，特征图F2.6经过卷积核大小为1×1的卷积层，得到输出特征图为F2.11，维度为14×14×256，将特征图F2.10通过上采样的方式放大到与特征图F2.11相同大小并与F2.11相加得到融合特征图F2.12，维度为14×14×256；
第2.12步，对融合特征图F2.12使用卷积核大小为3×3的卷积层减少上采样的混叠效应，然后使用卷积核大小为1×1的卷积层，再经过归一化BN层和SiLU激活函数，得到输出特征图为F2.13，维度为14×14×1280；
第2.13步，特征图F2.13经过自适应平均池化层，一层Dropout层，一层输出维度为36的全连接层，softmax激活函数，得到局部分类结果PLocal36；
第2.14步，特征图F2.5经过卷积核大小为1×1的卷积层，得到输出特征图为F2.14，维度为14×14×256，特征图F2.14与融合特征图F2.12相加得到融合特征图F2.15；
第2.15步，对融合特征图F2.15使用卷积核大小为3×3的卷积层减少上采样的混叠效应，然后使用卷积核大小为1×1的卷积层，再经过归一化BN层和SiLU激活函数，得到输出特征图为F2.16，维度为14×14×1280；
第2.16步，特征图F2.16经过自适应平均池化层，一层Dropout层，一层输出维度为59的全连接层，softmax激活函数，得到局部分类结果PLocal59；
第2.17步，将第2.10步获得的全局分类结果PGlobal和局部分类结果PLocal59相加求均值得到最终59类的分类结果P59；
将全局分类结果PGlobal中按照植物种类-病害-是否健康对病害子类预测结果进行相加，使维度由59转换到36，然后与局部分类结果PLocal36相加求均值得到最终36类植物种类-病害-是否健康的预测结果P36。
5.根据权利要求3所述的基于FCSA-EfficientNetV2的农作物病害图像识别方法，其特征在于，在训练FCSA-EfficientNetV2模型过程中，batch size大小为64，迭代次数设置为200，采用SGD优化器，初始学习率为0.001，动量因子为0.9，学习率衰减采用余弦退火的方法。
6.根据权利要求3所述的基于FCSA-EfficientNetV2的农作物病害图像识别方法，其特征在于，预测值与真实值之间的损失的计算过程是：
(1)带有标签平滑的交叉熵函数LBCE(y)，表示类别预测值与实际值的损失，如公式(6)所示：
Figure RE-FDA0003699572000000041
其中：
Figure RE-FDA0003699572000000042
为类别预测值，y为各类别对应的真实值，对于正确的类，yc为1，其他类yc为0，ε为标签平滑参数，C为病害类别的个数；
(2)成本敏感正则化CS(y)项，表示类别预测值与成本敏感矩阵之间的乘积，如公式(7)所示：
Figure RE-FDA0003699572000000043
其中：
Figure RE-FDA0003699572000000051
为类别预测值，y*为真实值为1对应的索引，λ为加权因子，M为构建的成本敏感矩阵；
成本敏感矩阵M的构建：在一种病害中，其病害程度一般和病害程度严重难以区分，所以采用增加权值来对每种预测错误引入不同的惩罚；当对一张某种植物的健康图像进行预测的时候，在构建的成本敏感矩阵中，其预测正确的权值为0，预测为病害程度一般对应的权值为1，预测为病害程度严重的权值为2，预测为该植物种类的其他病害的权值为3，预测为其他植物种类的权值为4，这表示对真实值预测距离越远其权值越大，因此对59类病害的预测，M是大小为59×59的二维矩阵，行和列分别为对应59种病害，Mcj表示类别c预测为类别j的成本敏感权重，公式(7)计算时仅对59类分类结果计算M中对应y*行与
Figure RE-FDA0003699572000000052
的标量积得到正则化项；
(3)最终损失函数losstotal如公式(8)所示：
Figure RE-FDA0003699572000000053
7.根据权利要求6所述的基于FCSA-EfficientNetV2的农作物病害图像识别方法，其特征在于，所述带有标签平滑的交叉熵的标签平滑参数ε为0.1，成本敏感正则化中加权因子λ为0.5。
8.根据权利要求3所述的基于FCSA-EfficientNetV2的农作物病害图像识别方法，其特征在于，农作物病害数据集中，病害类别标签为0～58，其中0～5为苹果病害种类及程度，6～8为樱桃病害种类及程度，9～16为玉米病害种类及程度，17～23为葡萄病害种类及程度，24～26为柑橘病害种类及程度，27～29为桃病害种类及程度，30～32为辣椒病害种类及程度，33～37为马铃薯病害种类及程度，38～40为草莓病害种类及程度，41～58为番茄病害种类及程度。
CN202210471953.0A 2022-04-29 2022-04-29 一种基于FCSA-EfficientNetV2的农作物病害识别方法 Pending CN114863278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210471953.0A CN114863278A (zh) 2022-04-29 2022-04-29 一种基于FCSA-EfficientNetV2的农作物病害识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210471953.0A CN114863278A (zh) 2022-04-29 2022-04-29 一种基于FCSA-EfficientNetV2的农作物病害识别方法

Publications (1)

Publication Number Publication Date
CN114863278A true CN114863278A (zh) 2022-08-05

Family

ID=82634602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210471953.0A Pending CN114863278A (zh) 2022-04-29 2022-04-29 一种基于FCSA-EfficientNetV2的农作物病害识别方法

Country Status (1)

Country Link
CN (1) CN114863278A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909316A (zh) * 2023-02-21 2023-04-04 昆明理工大学 一种面向数据不均匀场景的轻量化端到端车牌识别方法
CN116186593A (zh) * 2023-03-10 2023-05-30 山东省人工智能研究院 一种基于可分离卷积和注意力机制的心电信号检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909316A (zh) * 2023-02-21 2023-04-04 昆明理工大学 一种面向数据不均匀场景的轻量化端到端车牌识别方法
CN116186593A (zh) * 2023-03-10 2023-05-30 山东省人工智能研究院 一种基于可分离卷积和注意力机制的心电信号检测方法
CN116186593B (zh) * 2023-03-10 2023-10-03 山东省人工智能研究院 一种基于可分离卷积和注意力机制的心电信号检测方法

Similar Documents

Publication Publication Date Title
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN111985370B (zh) 一种基于混合注意力模块的农作物病虫害识别方法
CN114863278A (zh) 一种基于FCSA-EfficientNetV2的农作物病害识别方法
CN112446388A (zh) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统
CN112906720B (zh) 基于图注意力网络的多标签图像识别方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN112733659A (zh) 一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法
CN110263855B (zh) 一种利用共基胶囊投影进行图像分类的方法
CN115331104A (zh) 一种基于卷积神经网络的农作物种植信息提取方法
CN114155443A (zh) 一种基于多感受野图注意力网络的高光谱图像分类方法
CN117036370A (zh) 一种基于注意力机制和图卷积的植物器官点云分割方法
CN113159171A (zh) 一种基于对抗学习的植物叶片图像细分类方法
CN113344077A (zh) 一种基于卷积胶囊网络结构的抗噪茄科病害识别方法
CN116188509A (zh) 一种高效率三维图像分割方法
CN116258914B (zh) 基于机器学习及局部和全局特征融合的遥感图像分类方法
Nagaraju et al. Maize crop disease detection using NPNet-19 convolutional neural network
Xu et al. Dilated convolution capsule network for apple leaf disease identification
Prasetyo et al. The implementation of CNN on website-based rice plant disease detection
CN116883364A (zh) 一种基于CNN和Transformer的苹果叶片病害识别方法
CN111144469A (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
CN114187546B (zh) 组合性动作识别方法及系统
CN115641503A (zh) 一种基于Transformer网络的高光谱波段选择方法及装置
CN114549536A (zh) 一种基于注意力机制的微生物菌落分割方法
Si et al. Crop Disease Recognition Based on Improved Model-Agnostic Meta-Learning.
Yadav et al. Synergistic spectral and spatial feature analysis with transformer and convolution networks for hyperspectral image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination