CN114548265A - 一种作物叶片病害图像生成模型训练方法、作物叶片病害识别方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种作物叶片病害图像生成模型训练方法、作物叶片病害识别方法、电子设备及存储介质，属于图像增强技术领域。基于层级式SwinT网络作为叶片区域提取模块的特征提取网络，设计多阶段重叠式嵌入和分层级特征下采样模块优化SwinT的图像嵌入方式和渐进式层级结构，根据重构特征图生成显著图并提取叶片区域。将叶片区域提取模块集成到图像生成模型，通过设计背景损失函数引导图像生成模型仅在叶片区域生成病斑，实现叶片病害图像数据集的有效增强。本发明能够提升生成作物叶片病害图像的生成效率与质量，显著提高作物叶片病害识别模型的准确率和鲁棒性，具有计算代价低、所需的训练数据量小、收敛快速且稳定等特点。

Description

一种作物叶片病害图像生成模型训练方法、作物叶片病害识 别方法、电子设备及存储介质

技术领域

本发明涉及图像增强技术领域，更具体地说，涉及一种作物叶片病害图像生成模型训练方法、作物叶片病害识别方法、电子设备及存储介质。

背景技术

作物叶片病害治理对于作物产量和品质有着非常重要的影响。传统的机器视觉技术对作物叶片病害的识别与预测主要基于纹理颜色等特征，这需要大量的专业知识储备。相较于传统的识别方法，各种基于深度学习的模型因其在特征提取方面的优异性被广泛应用到作物叶片病害识别领域，能有效地提高了识别效率和准确率。然而训练一个病害识别模型需要大量的已知病害种类的图片，作物叶片病害数据集的分类和标注需要专业的作物病害专家构建，需要耗费大量的人力和时间。因此提供一种能够生成高质量的作物叶片病害图像方法来增广作物叶片病害数据集，对训练高性能的病害识别模型有重要意义。

随着深度学习技术的不断发展，生成对抗网络(Generative Adversative Nets,GAN)在图像转换和图像生成领域广泛应用，例如图像风格迁移，虚拟图像生成等。由于生成对抗网络有生成图像的功能，所以GAN也被应用在图像数据集的增广领域，许多使用生成对抗网络增强作物叶片病害数据集的工作也应运而生。由于作物病害图片的背景复杂性和叶片病斑的不显著性，作物叶片病害数据增强还存在如下的问题：①由于生成对抗网络的结构没有注意力机制，所以模型倾向于在整个图像区域内进行转换，而不是在目标域的特定区域(叶片区域)生成病斑，导致生成的病害数据集质量不高；②神经网络对于特定区域的特征提取通常是通过人为标定区域实现的，这需要大量的人力，且标定结果具有主观性。

Cap等在《IEEE Transactions on Automation Science and Engineering》上发表的一种应用于实际场景下植物病害诊断的高效数据增强方法：LeafGAN，在生成对抗网络中引入基于ResNet-101网络的叶片分割模块分割叶区域，然后利用生成对抗网络训练图像翻译模型，在健康图像的叶片区域进行病斑特征的迁移来增强病害数据集。然而，卷积神经网络在特征提取方面有着优异性能的同时需要不断加深网络的深度以增大卷积核的视野，而随着卷积神经网络深度的增加，会导致训练效果变差、训练过程复杂不稳定的问题。且卷积神经网络长于捕获短程特征，缺少长短程特征的融合机制。

发明内容

针对实际场景中传统数据增强方法因受背景因素干扰，导致生成图像质量不高的问题，本发明提供一种作物叶片病害图像生成模型训练方法，基于层级式SwinT网络作为叶片区域提取模块的特征提取网络，设计多阶段重叠式嵌入和分层级特征下采样模块优化SwinT的图像嵌入方式和渐进式层级结构，根据重构特征图生成显著图并提取叶片区域。将叶片区域提取模块集成到图像生成模型，通过设计背景损失函数引导图像生成模型仅在叶片区域生成病斑，实现叶片病害图像数据集的有效增强。本发明能够提升生成作物叶片病害图像的生成效率与质量，显著提高作物叶片病害识别模型的准确率和鲁棒性，具有计算代价低、所需的训练数据量小、收敛快速且稳定等特点。

为解决上述问题，本发明采用如下的技术方案：

本发明第一方面提供一种作物叶片病害图像生成模型训练方法，所述方法包括如下步骤：

S110：获取训练图像，将所述训练图像归一化处理，所述训练图像包括真实健康叶片图像以及真实病害叶片图像；

S120：配置作物叶片病害图像生成模型；所述作物叶片病害图像生成模型包括叶片区域提取模块；

S121：构建层级式SwinT网络作为叶片区域提取模块的特征提取网络，提取所述生成病害图像和真实病害图像的叶片区域特征向量并重构为特征图，根据重构的特征图生成叶片区域显著图，提取真实健康叶片图像以及真实病害叶片图像的叶片区域；

S130：构建作物叶片病害图像生成模型的损失函数，引导作物叶片病害图像生成模型仅在叶片区域生成病斑，更新所述作物叶片病害图像生成模型。

作为一个示例，所述作物叶片病害图像生成模型还包括：第一生成器、第二生成器、第一鉴别器以及第二鉴别器；

将所述真实健康叶片图像输入第一生成器G_AB获得生成病害图像；

将所述生成病害图像和真实病害图像分别输入所述叶片区域提取模块对应提取得到对应叶片区域掩膜；

将所述叶片区域掩膜输入至第二鉴别器D_B，获得第一判别信息，将所述第一判别信息反向传递到第一生成器；

将所述生成病害图像输入第二生成器G_BA重构为健康叶片图像；

将重构的健康叶片图像与真实健康叶片图像输入到第一鉴别器D_A，获得第二判别信息，将所述第二判别信息反向传递到第二生成器。

作为一个示例，所述步骤S121中层级式SwinT网络构建步骤包括：

利用协调注意力模块和批归一化层分别构建多阶段重叠式嵌入模块和分层级特征下采样模块，优化SwinT网络的图像嵌入方式以及渐进式网络层级结构；

训练优化SwinT特征提取网络，所述特征提取网络的训练集包括完整叶片图像、部分叶片图像、无叶片图像三个类别。

作为一个示例，所述多阶段重叠式嵌入模块构建步骤包括：

采用第一卷积层将输入图像分块为重叠式的像素块；

采用第二卷积层将所述像素块集合映射至层级式SwinT网络第一层级的输入向量维度；

将重叠的多通道像素块通过所述协调注意模块进行空间和通道上的注意力操作，加入批归一化层；

将像素块进行展平并线性映射至所述层级网络中第一层级中Swin TransformerBlock；

在SwinT网络中除第一层级的每一层级中Swin Transformer block前采用分层级特征下采样模块来提取每一层级的低水平特征并对特征图进行下采样操作。

作为一个示例，所述步骤S121中叶片区域提取步骤包括：

取生成病害图像和真实病害图像通过SwinT网络的最后一个层级注意力计算模块的前向传播输出，重构为对应特征图C，其中C^k为第k维度的特征图；

将类别为完整叶片图像记为c，利用完整叶片图像c对应的预测向量y^c计算类梯度，将求得的反向传播梯度在所述特征图C的宽度和高度上进行平均计算，以获得各维度上激活权重

将前向传播的特征图与激活权重加权组合，并通过ReLU获得模型预测为叶片区域的显著图；

利用阈值分割算法在叶片区域显著图生成二值掩膜，并分割出对应真实健康叶片图像和真实病害图像的叶片区域，生成叶片掩膜。

作为一个示例，所述步骤S130包括：

将所述作物叶片病害图像生成模型的损失函数对应于对抗性损失、背景损失、循环一致性损失的加权之和，其中对抗性损失包括第一鉴别器D_A和第二鉴别器D_B的损失函数，

第一鉴别器D_A的损失函数公式为：

第二鉴别器D_B的损失函数公式为：

对抗性损失函数为：

L_adv(G)＝L_adv(G_AB,D_B)+L_adv(G_BA,D_A)

背景损失函数公式为：

循环一致损失函数公式为：

生成对抗网络损失函数公式为：

L(G_AB,G_BA,D_A,D_B)＝L_adv(G)+λ[L_cyc(G_AB,G_BA)+L_bs(G_AB,G_BA)]

上述式中，A和B分别表示真实健康叶片图像数据域和真实病害叶片图像数据域，x表示健康图像数据域A中的样本，y表示病害图像数据域B中的样本，Mask(x)为仅保留真实健康图像叶片区域的二值掩膜，Mask(y)为仅保留真实病害图像叶片区域的二值掩膜，λ为权重，x～p_data(x)，y～p_data(y)表示数据域所满足的分布。

本发明第二方面提供一种作物叶片病害识别模型训练方法，其特征在于，所述方法包括：

将待处理的真实作物健康叶片图像根据上述的叶片病害图像生成模型，生成作物叶片病害图像扩充病害数据集；

将扩充的病害数据集输入优化的SwinT模型进行训练，获得作物叶片病害识别模型。

本发明第三方面提供一种作物叶片病害识别方法，其特征在于，所述方法包括：

获取待检测的作物叶片，将所述待测叶片输入根据上述方法构建的作物叶片病害识别模型；获取对应的识别结果，所述识别结果包括作物叶片病害种类。

本发明第四方面提供一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如上述的方法。

本发明第五方面提供一种可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如上述的方法。

与现有技术相比，本发明有明显的技术优势：

(1)本发明示例提出一种以无监督方式的叶片区域提取方法，以层级式Transformer模型SwinT作为叶片区域提取模块的特征提取网络，其层级结构将语义较强的信息从低分辨率的特征映射传播到高分辨率的特征映射，有利于多尺度的特征融合；而其自注意力机制使模型的注意力相比卷积神经网络更加集中，有利于依据显著图进行叶片区域分割；且其相对输入图像的线性计算复杂度减少了网络的计算代价同时提高了网络的收敛速度。

(2)本发明示例结合协调注意力模块和批归一化层设计多阶段重叠式嵌入和分层级特征下采样模块优化SwinT的图像嵌入方式和渐进式层级结构，采用轻量卷积结构实现重叠式的图像块嵌入和各层级特征图的下采样，并引入协调注意力模块和批归一化层在不增加参数量的情况下提高SwinT的特征提取能力，最后采用迁移学习方法训练基于优化SwinT的特征提取网络和病害识别模型，可在训练样本较少的情况下提高模型收敛的速度和稳定性。

(3)本发明示例通过集成叶片区域提取模块和生成对抗网络构建作物叶片病害图像生成模型，设计背景损失函数引导图像生成模型在生成图像过程中将注意力更多的集中在叶片区域，仅在叶片区域生成病斑，克服了传统数据增强方法中受背景因素干扰而导致的生成图像背景模糊、质量不高的不足。

(4)本发明为了保证增强后病害数据集背景的多样性，本发明采集了不同田间自然背景下的作物健康叶片图像，生成病害数据集的背景多样性直接关系到作物病害识别模型的训练效率，另外通过将不同复杂背景下的作物叶片健康图像作为生成对抗网络的源数据域，避免了作物病害识别模型因训练集背景单一导致的模型训练过拟合和识别准确率下降的问题。

附图说明

图1为本发明实施例的作物叶片病害图像生成模型训练方法流程图；

图2为本发明实施例的叶片区域提取模块结构框图；

图3为本发明实施例的多阶段重叠式嵌入模块结构框图；

图4为本发明实施例的分层级特征下采样模块结构框图；

图5为本发明实施例的叶片区域显著图生成流程图；

图6为本发明实施例的作物叶片病害图像生成模型结构框图；

图7位本发明实施例的作物叶片病害图像生成模型训练方法以及作物叶片病害识别方法流程。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

示例性方法

如图1所示，本示例公开了一种作物叶片病害图像生成模型训练方法，包括如下步骤：

S110：获取训练图像，将所述训练图像归一化处理，所述训练图像包括真实健康叶片图像以及真实病害叶片图像。

具体的，这里的真实健康叶片指的是作物叶片上不具备病害的图像，真实病害叶片图像指的是作物叶片上患有病害的图像。这里的作物可以是黄瓜、棉花和水稻等。本示例中选取的是黄瓜叶片的图像，病害可以是白粉病、炭疽病或者靶斑病等。将训练图像归一化处理，这里是将输入的黄瓜叶片图像大小归一化为高度为224，宽度为224，通道数为3；即输入图像的尺寸为(224，224，3)。

S120：根据生成对抗网络，配置作物叶片病害图像生成模型，所述作物叶片病害图像生成模型包括叶片区域提取模块。

如图6所示，具体的，首先设计基于生成对抗网络的作物叶片病害图像生成模型，本示例中作物叶片病害图像生成模型包括：叶片区域提取模块、第一生成器G_AB、第二生成器G_BA、第一鉴别器D_A以及第二鉴别器D_B。

在一种实施方式中，第一生成器G_AB和第二生成器G_BA结构从上到下依次是：输入层→边缘填充层→3×[卷积层+批归一化层+ReLU]→9个残差块→2×[反卷积层+批归一化层+ReLU]；第一鉴别器D_A以及第二鉴别器D_B的结构从上到下依次为：输入层→卷积层→LeakyReLU→3×[卷积层+批归一化层+Leaky ReLU]→Sigmoid。其中鉴别器主要用于区分生成病害图像和真实病害图像。

在一种实施方式中，配置作物叶片病害图像生成模型具体步骤包括：

S121：构建层级式SwinT网络作为叶片区域提取模块的特征提取网络，提取所述生成病害图像和真实病害图像的叶片区域特征向量并重构为特征图，根据重构的特征图生成叶片区域显著图，提取真实健康叶片图像以及真实病害叶片图像的叶片区域。

进一步的，将所述叶片区域掩膜输入至第二鉴别器D_B，获得第一判别信息，将所述第一判别信息反向传递到第一生成器G_AB。

将所述生成病害图像输入第二生成器G_BA重构为健康叶片图像；将重构的健康叶片图像与真实健康叶片图像输入到第一鉴别器D_A，获得的第二判别信息，将所述第二判别信息反向传递到第二生成器。

S130：构建作物叶片病害图像生成模型的损失函数，引导作物叶片病害图像生成模型仅在所述叶片区域生成病斑，更新作物叶片病害图像生成模型。

具体的，通过设计生成对抗网络损失函数引导图像生成模型仅在叶片区域生成病斑，生成对抗网络的损失函数等于对抗性损失、背景损失、循环一致性损失的加权和。其中对抗性损失包括第一鉴别器D_A和第二鉴别器D_B的损失函数。

第一鉴别器D_A的损失函数公式为：

第二鉴别器D_B的损失函数公式为：

对抗性损失函数为：

L_adv(G)＝L_adv(G_AB,D_B)+L_adv(G_BA,D_A)

背景损失函数公式为：

循环一致损失函数公式为：

生成对抗网络损失函数公式为：

L(G_AB,G_BA,D_A,D_B)＝L_adv(G)+λ[L_cyc(G_AB,G_BA)+L_bs(G_AB,G_BA)]

上述式中，A和B分别表示真实健康叶片图像数据域和真实病害叶片图像数据域，x表示健康图像数据域A中的样本，y表示病害图像数据域B中的样本，Mask(x)为仅保留真实健康图像叶片区域的二值掩膜，Mask(y)为仅保留真实病害图像叶片区域的二值掩膜，λ为权重，x～p_data(x)，y～p_data(y)表示数据域所满足的分布。其中生成器和鉴别器的激活函数可以包括Leaky ReLU(x)、ReLU(x)、Sigmoid(x)，具体如下：

本示例根据生成对抗网络，配置作物叶片病害图像生成模型，设计背景损失函数引导图像生成模型在生成图像过程中将注意力更多的集中在叶片区域，仅在叶片区域生成病斑，克服了传统数据增强方法中受背景因素干扰而导致的生成图像背景模糊、质量不高的不足等缺陷。

如图2所示，作为一个示例，叶片区域提取模块是基于优化Swin Transformer(SwinT)的特征提取网络和Grad-CAM算法构建。需要说明的是，Swin Transformer(SwinT)使用注意力机制代替卷积神经网络中卷积层的叠加，并采用渐进式层级结构，有利于多尺度的特征融合，且其相对输入图像的线性计算复杂度减少了网络的计算代价的同时提高了网络的训练效率。因此，在生成对抗网络中引入基于Swin Transformer的可提取目标区域特征的注意力机制，采用无监督的方式使生成对抗网络在源图像的目标区域迁移病斑特征的同时，保持源图像的背景信息是十分有意义的工作。

以黄瓜叶片病害图像为例，将所述生成病害图像和真实病害图像输入所述叶片区域提取模块提取得到多组叶片区域掩膜步骤包括：

S1211：构建层级式SwinT网络作为所述叶片区域提取模块的特征提取网络，提取所述生成病害图像和真实病害图像的叶片区域，重构对应的特征图。所述特征提取网络的训练集包括完整叶片图像c、部分叶片图像、无叶片图像三个类别。

具体的，层级式网络SwinT构建步骤包括：

利用协调注意力模块和批归一化层分别构建多阶段重叠式嵌入模块和分层级特征下采样模块，优化SwinT网络的图像嵌入方式和渐进式网络层级结构；训练优化SwinT特征提取网络。

如图3所示，在一种可能的实施方式中，所述多阶段重叠式嵌入模块构建步骤包括：

采用第一卷积层将输入图像分块为重叠式的像素块。这里的输入图像指的是生成病害图像和真实病害图像，下面用输入图像x来说明。

具体的，采用两层卷积核大小为2×2，步长为2的第一卷积层将输入图像x分块为重叠式的大小为

的像素块；将输入图像x(224,224,3)分块为重叠式的48个大小为(56,56)的像素块。

采用第二卷积层将所述像素块集合映射至层级式SwinT网络第一层级的输入向量维度，其中第二卷积模块为96个大小为1×1的卷积核。

将重叠的多通道像素块通过所述协调注意模块进行空间和通道上的注意力操作，加入批量归一化层。

将像素块进行展平并线性映射至所述层级网络中第一层级中Swin TransformerBlock；最终将像素块进行展平成数量为3136，维度为96的向量(3136,96)集合，并线性映射至层级1中的Swin Transformer Block。这一过程的公式为：

c_p＝G(x),x∈R^H×W×3,c_p∈R^{H′×W′×C}

其中，x∈R^H×W×3为输入图像,G(x)表示对输入图像x进行多阶段重叠式分块操作，E表示线性展平嵌入方式，C为Swin Transformer block的输入维度。

在SwinT网络中除第一层级的每一层级中Swin Transformer block前采用分层级特征下采样模块来提取每一层级的低水平特征并对特征图进行下采样操作。

本示例采用改进的层级式网络SwinT作为特征提取网络识别叶片区域，将输入图像x(224,224,3)进行像素分块并通过线性映射层展平嵌入至层级网络。

如图4所示，分层级特征下采样模块由一层大小为2×2，步长为2的卷积层，和一层大小为1×1的维度映射卷积层组成。重构对应的特征图通过分层级特征下采样模块则向量个数缩小为原数量的一半，向量维度扩大为原维度的2倍。

c_k＝H(c_k-1),

式中，c_k为第k个层级输出特征图，H表示对输入特征图进行分层级特征下采样操作，E表示线性展平嵌入层。

S1212：采用Grad-CAM算法将所述特征图与特定类反向梯度激活权重加权组合生成叶片区域显著图。

具体的，如图5所示，根据Transformer网络的结构特点，取SwinT的最后一个层级注意力计算模块的前向传播输出G(h×w,d)，重构为(d,h,w)的特征图C，其中C¹到C^k为第k维度的特征图。将类别为完整叶片图像记为c，利用完整叶片图像c对应的预测向量y^c计算c类梯度，将求得的反向传播梯度在宽度和高度上进行平均计算，以获得各维度上激活权重

将前向传播的特征图与激活权重加权组合，并通过ReLU获得模型预测为叶片区域的显著图。这一过程表示为：

[C¹；C²；C³…C^k；…C^d]＝reshape([G¹；G²；G³；…G^h×w]),C∈R^h×w×d,G∈R^d

其中，Reshape表示重构操作函数；

表示最终得到的显著图。本示例取SwinT特征提取网络的第4层级中最后一个模块的输出向量集合G(49,1024)重构为(7,7,1024)的特征图C，利用类别为“完整叶片”的预测向量y⁰计算反向传播梯度，计算梯度在宽度和高度上的平均值，以获得各维度激活权重。

S1213：利用阈值分割算法在叶片区域显著图生成二值掩膜，并分割出叶片区域，生成叶片掩膜。

具体的，使用阈值分割算法依据叶片区域显著图生成二值掩膜并分割出叶片区域。对于输入至叶片区域提取模块的输入图像x，本示例中阈值分割算法用于将上述步骤生成的显著图分割为一个二值掩膜表示为Mask(x)，二值掩膜中的每个元素都在域{0,1}中，其中1表示被抑制的对应区域(背景区域)，0表示保留的叶片区域；生成的叶片掩膜表示为：x⊙Mask(x)。

本示例基于优化Swin Transformer(SwinT)的特征提取网络、Grad-CAM构建叶片区域提取模块，结合协调注意力模块和批归一化层设计多阶段重叠式嵌入和分层级特征下采样模块优化SwinT的图像嵌入方式和渐进式层级结构，采用Grad-CAM将重构后的特征图与激活权重加权组合生成叶片区域显著图，使用阈值分割算法依据显著图生成二值掩膜分割出叶片区域。通过集成叶片区域提取模块和生成对抗网络构建作物叶片病害图像生成模型，设计损失函数引导图像生成模型仅在叶片区域生成病斑。将扩充病害数据集输入SwinT的模型训练病害识别模型，并进行实际场景下的作物叶片病害识别。本示例有效提升田间作物叶片病害图像的生成效率与质量，且具有计算代价低、所需的训练数据量小、收敛快速且稳定等特点。

作为一个示例，一种作物叶片病害图像生成模型训练方法还包括步骤S140：构建不同叶片图像数据集训练叶片提取模块中的基于优化SwinT的特征提取网络，保留最佳训练权重并加载至作物叶片病害图像生成模型的叶片区域提取模块。

S141：拍摄不同复杂背景的作物叶片图像，筛选出叶片位置位于图像中央，面积约占整体三分之二并明显区别于背景的图像；删除分辨率低、光照条件差的作物叶片图像。随机抽取作物叶片图像，一部分作为完整叶片图像数据集，另一部分将每一张图像(N×N)平均分成9张含有部分叶片的图像(N/3×N/3)作为部分叶片图像数据集，从ImageNet随机选取图像作为无叶片图像数据集，将三类叶片图像组成不同叶片图像数据集L。

本示例图像采集设备为Canon EOS 6D型数码单反相机，佳能EF 17-40mm f/4LUSM镜头与佳能EF 100mm f/2.8L IS USM微距镜头。拍摄时采用RAW格式，调整合适的光圈使得图像景深足够大，以保证黄瓜叶片在画面中的清晰度。拍摄完成后，利用Photoshop图像编辑软件批量将图片格式改为JPG格式。从采集图像中随机提取1800张作为数据集L的完整叶片图像，选取200张进行分块处理，获得1800张作为部分叶片图像，最后从ImageNet中选取1800张无叶片图像。

图像增广模型采集田间自然条件下5类黄瓜叶片图像，分别为健康叶片图像，2950张；霜霉病图像，600张；白粉病图像，600张；炭疽病图像，600张；靶斑病图像，600张。

S142：将数据集L喂入基于优化SwinT的特征提取网络，将SwinT的最后一层替换为节点数为3的全连接层作为分类层，冻结分类层以外所有层的参数，训练基于SwinT的特征提取网络识别叶片区域，并保留准确率最高的模型权重。

本示例中，采用数据集L(5400张图像)训练基于优化SwinT的特征提取网络，随机提取70％作为训练集，30％作为验证集。将SwinT网络结构默认窗口大小设置为7，每个头部的查询维度为32，每个MLP的扩展层为4，最后一层采用节点数为3的全连接层，除了像素块分块层和展平像素块线性映射层和最后一层，模型其它层参数在训练过程中冻结，不随着训练而更新。训练在500个epoch后结束，最初的学习率为0.0002，并使用Adam优化函数进行梯度优化。

S143：从步骤S141采集的图像中随机抽取健康叶片图像和病害图像构建健康叶片图像数据集A和病害数据集B，将步骤S142中基于优化SwinT的特征提取网络的最佳权重加载至作物叶片病害图像生成模型的叶片区域提取模块，训练作物叶片病害图像生成模型。

本示例中，采用健康图像(1800张)，分别与白粉病图像(450张)、霜霉病图像(450张)、靶斑病图像(450张)和炭疽病图像(450张)构建数据集训练基于SwinT注意力导向生成对抗网络，训练在200个epoch后结束，初始学习率为0.001，学习率下降速率为0.1，并采用Adam优化函数进行梯度优化。

本示例还公开一种作物叶片病害识别模型训练方法，所述方法包括：将待处理的真实作物健康叶片图像根据上述步骤训练完成的叶片病害图像生成模型，生成作物叶片病害图像扩充病害数据集。

具体的，从1800张健康作物叶片图像随机选取450张分别输入白粉病图像生成模型、霜霉病图像生成模型、靶斑病图像生成模型和炭疽病图像生成模型，生成对应种类病害图像，按类别添加到初始的病害数据集，扩充后的病害数据集有白粉病图像、霜霉病图像、靶斑病图像和炭疽病图像各900张，共3600张。

将扩充的病害数据集输入优化的SwinT模型进行训练，获得作物叶片病害识别模型。

具体的，将扩充的病害数据集输入优化的SwinT模型，将SwinT的最后一层替换为节点数为预定数量的全连接层，本示例中预定数量为4，冻结除最后一层的所有层参数，训练作物叶片病害识别模型。

将上述步骤构建的增强数据集(共3600张)，按照7：3的比例分为训练集和验证集，并输入到优化的SwinT。冻结SwinT模型除最后一层全连接层的全部参数，训练在50个epoch后结束，初始学习率为0.001，采用Adam优化函数进行梯度优化。

如图7所示，本示例在作物叶片病害模型的基础上还公开一种作物叶片病害识别方法，所述方法包括：

获取待检测的作物叶片，将所述待测叶片输入上述方法构建的作物叶片病害识别模型；获取对应的识别结果，所述识别结果包括作物叶片病害种类。这里的作物叶片病害种类，以黄瓜叶片为例，可以是白粉病、霜霉病、靶斑病或炭疽病等。

本示例中，随机抽取未训练的作物叶片病害图像测试病害识别模型，并对模型进行评估。在增强的数据集上，基于优化SwinT的作物叶片病害识别模型在测试集上的准确率达到98.7％，实验证明，本示例有效提升田间作物叶片病害图像的生成效率与质量，且具有计算代价低、所需的训练数据量小、收敛快速且稳定等特点，显著提高作物叶片病害识别模型的准确率和鲁棒性。

Claims (10)

1.一种作物叶片病害图像生成模型训练方法，所述方法包括如下步骤：

S110：获取训练图像，将所述训练图像归一化处理，所述训练图像包括真实健康叶片图像以及真实病害叶片图像；

S120：配置作物叶片病害图像生成模型；所述作物叶片病害图像生成模型包括叶片区域提取模块；

S121：构建层级式SwinT网络作为叶片区域提取模块的特征提取网络，提取所述生成病害图像和真实病害图像的叶片区域特征向量并重构为特征图，根据重构的特征图生成叶片区域显著图，提取真实健康叶片图像以及真实病害叶片图像的叶片区域；

S130：构建作物叶片病害图像生成模型的损失函数，引导作物叶片病害图像生成模型仅在叶片区域生成病斑，更新所述作物叶片病害图像生成模型。

2.根据权利要求1所述一种作物叶片病害图像生成模型训练方法，其特征在于，所述作物叶片病害图像生成模型还包括：第一生成器、第二生成器、第一鉴别器以及第二鉴别器；

将所述真实健康叶片图像输入第一生成器G_AB获得生成病害图像；

将所述生成病害图像和真实病害图像分别输入所述叶片区域提取模块对应提取得到对应叶片区域掩膜；

将所述叶片区域掩膜输入至第二鉴别器D_B，获得第一判别信息，将所述第一判别信息反向传递到第一生成器；

将所述生成病害图像输入第二生成器G_BA重构为健康叶片图像；

将重构的健康叶片图像与真实健康叶片图像输入到第一鉴别器D_A，获得第二判别信息，将所述第二判别信息反向传递到第二生成器。

3.根据权利要求1所述一种作物叶片病害图像生成模型训练方法，其特征在于，所述步骤S121中层级式SwinT网络构建步骤包括：

利用协调注意力模块和批归一化层分别构建多阶段重叠式嵌入模块和分层级特征下采样模块，优化SwinT网络的图像嵌入方式以及渐进式网络层级结构；

训练优化SwinT特征提取网络，所述特征提取网络的训练集包括完整叶片图像、部分叶片图像、无叶片图像三个类别。

4.根据权利要求3所述一种作物叶片病害图像生成模型训练方法，其特征在于，所述多阶段重叠式嵌入模块构建步骤包括：

采用第一卷积层将输入图像分块为重叠式的像素块；

采用第二卷积层将所述像素块集合映射至层级式SwinT网络第一层级的输入向量维度；

将重叠的多通道像素块通过所述协调注意模块进行空间和通道上的注意力操作，加入批归一化层；

将像素块进行展平并线性映射至所述层级网络中第一层级中Swin TransformerBlock；

在SwinT网络中除第一层级的每一层级中Swin Transformer block前采用分层级特征下采样模块来提取每一层级的低水平特征并对特征图进行下采样操作。

5.根据权利要求3所述一种作物叶片病害图像生成模型训练方法，其特征在于，所述步骤S121中叶片区域提取步骤包括：

取生成病害图像和真实病害图像通过SwinT网络的最后一个层级注意力计算模块的前向传播输出，重构为对应特征图C，其中C^k为第k维度的特征图；

将类别为完整叶片图像记为c，利用完整叶片图像c对应的预测向量y^c计算类梯度，将求得的反向传播梯度在所述特征图C的宽度和高度上进行平均计算，以获得各维度上激活权重

将前向传播的特征图与激活权重加权组合，并通过ReLU获得模型预测为叶片区域的显著图；

利用阈值分割算法在叶片区域显著图生成二值掩膜，并分割出对应真实健康叶片图像和真实病害图像的叶片区域，生成叶片掩膜。

6.根据权利要求1所述一种作物叶片病害图像生成模型训练方法，其特征在于，所述步骤S130包括：

将所述作物叶片病害图像生成模型的损失函数对应于对抗性损失、背景损失、循环一致性损失的加权之和，其中对抗性损失包括第一鉴别器D_A和第二鉴别器D_B的损失函数，

第一鉴别器D_A的损失函数公式为：

第二鉴别器D_B的损失函数公式为：

对抗性损失函数为：

L_adv(G)＝L_adv(G_AB,D_B)+L_adv(G_BA,D_A)

背景损失函数公式为：

循环一致损失函数公式为：

生成对抗网络损失函数公式为：

L(G_AB,G_BA,D_A,D_B)＝L_adv(G)+λ[L_cyc(G_AB,G_BA)+L_bs(G_AB,G_BA)]

上述式中，A和B分别表示真实健康叶片图像数据域和真实病害叶片图像数据域，x表示健康图像数据域A中的样本，y表示病害图像数据域B中的样本，Mask(x)为仅保留真实健康图像叶片区域的二值掩膜，Mask(y)为仅保留真实病害图像叶片区域的二值掩膜，λ为权重，x～p_data(x)，y～p_data(y)表示数据域所满足的分布。

7.一种作物叶片病害识别模型训练方法，其特征在于，所述方法包括：

将待处理的真实作物健康叶片图像根据权利要求1-6任意一项所述的叶片病害图像生成模型，生成作物叶片病害图像扩充病害数据集；

将扩充的病害数据集输入优化的SwinT模型进行训练，获得作物叶片病害识别模型。

8.一种作物叶片病害识别方法，其特征在于，所述方法包括：

获取待检测的作物叶片，将所述待测叶片输入根据权利要求7构建的作物叶片病害识别模型；获取对应的识别结果，所述识别结果包括作物叶片病害种类。

9.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-8任一项所述的方法。

10.一种可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-8任一项所述的方法。

Images