CN116030341A - 基于深度学习的植物叶片病害检测方法、计算机设备和存储介质 - Google Patents

Abstract

本申请公开了一种基于深度学习的植物叶片病害检测方法、计算机设备和存储介质。基于深度学习的植物叶片病害检测方法包括：获取待检测病害的植物叶片图像；采用优化的YOLOv5s网络模型对植物叶片图像进行识别与检测，得到植物叶片病害的类别和位置；优化的YOLOv5s网络模型包括主干网络和颈部网络，颈部网络包括若干优化的CSP结构和CAM结构，优化的CSP结构包括Ghost结构和倒残差结构，优化的CAM结构包括EPSA注意力模块和倒残差结构。本发明对图像数据进行训练，融合语义和尺度不一致的特征来增强网络全局信息的提取能力，解决预测框中心点偏移量难以取到特殊点以及模型训练过程中预测框被错误缩放的问题，模型参数量较低，平均精度较高，鲁棒性更强，检测效果更好。

Description

基于深度学习的植物叶片病害检测方法、计算机设备和存储介质

技术领域

本申请涉及深度学习图像技术处理领域，特别是涉及一种基于深度学习的植物叶片病害检测方法、计算机设备和存储介质。

背景技术

植物生长早期准确地检测植物的病害类别并标注出病害位置能够有效防止病害的扩散以及保证植物的正常生长。但传统植物病害检测依赖于人工识别，不仅需要花费大量的人力和物力，而且效率和准确率较低。

深度学习技术的发展为图像识别与检测带来了更快的速度和更高的准确率，为了解决传统方法的弊端，可以使用深度学习技术智能的完成从植物叶片病害信息提取到识别与检测的全过程。

发明内容

基于此，有必要针对目标小、数量密集和外观相似的植物叶片病害检测难度较大，误差较大，精度不高的技术问题。

本发明提供了一种基于深度学习的植物叶片病害检测方法，包括：

获取待检测病害的植物叶片图像；

采用优化的YOLOv5s网络模型对所述植物叶片图像进行识别与检测，得到植物叶片病害的类别和位置；

所述优化的YOLOv5s网络模型包括主干网络和颈部网络，所述颈部网络包括若干优化的CSP结构和CAM结构，所述优化的CSP结构包括Ghost结构和倒残差结构，所述优化的CAM结构包括EPSA注意力模块和倒残差结构。

以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

可选的，所述优化的YOLOv5s网络模型预先采用样本进行训练，所述训练过程时包括：

获取样本，在所述样本上设定真实框的位置；

设定预测框，使用第一公式计算提取的样本图像特征，得到所述预测框相对于所述真实框的位置；

使用第二公式计算所述预测框相对于所述真实框的位置，计算得到所述预测结果和真实结果的损失值，根据损失值进行反向传播完成模型参数的更新后继续训练得到相应优化的YOLOv5s网络模型。

可选的，所述第一公式包括：

x＝2.2×σ(t_x)-0.6

y＝2.2×σ(t_y)-0.6

其中，

b_x、b_y分别表示预测目标中心点的位置；

σ表示Sigmoid函数；

t_x、t_y分别表示为相对于预测网格左上角，预测网格的目标中心x和y坐标的偏移量；

c_x、c_y表示为对应网格左上角原来的x和y坐标。

可选的，其特征在于，所述第二公式包括：

其中，

ρ²(l,l^gt)表示真实框和预测框左上角之间欧氏距离的平方；

ρ²(,b^gt)表示真实框中心点到预测框中心点欧氏距离的平方；

w^gt和w分别表示真实框和预测框的宽；

c表示两个目标框的闭包区域的对角线距离；

IoU表示预测框和真实框面积的交并比。

可选的，所述优化的CAM结构通过EPSA注意力模块和倒残差结构构建多分支网络结构；

所述优化的CSP结构通过Ghost结构和倒残差结构构建多分支网络结构。

可选的，所述主干网络包括CSPDarknet53网络以及设置于CSPDarknet53网络后的SPP结构和CSP结构。

可选的，所述颈部网络包括4个卷积层，4个优化的CSP结构以及2个优化的CAM结构，每一卷积层对应有1个批量归一化层以及1个激活层。

可选的，所述优化的YOLOv5s网络模型的输出层包括3个卷积层，所述3个卷积层可获得三种尺寸，分别为20×20，40×40，80×80。

本申请还提供如下技术方案：

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待检测病害的植物叶片图像；

采用优化的YOLOv5s网络模型对所述植物叶片图像进行识别与检测，得到植物叶片病害的类别和位置；

所述优化的YOLOv5s网络模型包括主干网络和颈部网络，所述颈部网络包括若干优化的CSP结构和CAM结构，所述优化的CSP结构包括Ghost结构和倒残差结构，所述优化的CAM结构包括EPSA注意力模块和倒残差结构。

本申请还提供如下技术方案：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取待检测病害的植物叶片图像；

采用优化的YOLOv5s网络模型对所述植物叶片图像进行识别与检测，得到植物叶片病害的类别和位置；

所述优化的YOLOv5s网络模型包括主干网络和颈部网络，所述颈部网络包括若干优化的CSP结构和CAM结构，所述优化的CSP结构包括Ghost结构和倒残差结构，所述优化的CAM结构包括EPSA注意力模块和倒残差结构。

本申请提供的一种基于深度学习的植物叶片病害检测方法、计算机设备和存储介质，增强了网络全局信息的提取能力，解决了预测框中心点偏移量难以取到特殊点以及模型训练过程中预测框被错误缩放的问题，最后进行植物叶片病害识别和检测，解决了对小目标、数量密集和外观相似的植物叶片病害检测效果不佳的问题，最终检测效果较准确，平均精度较高。

附图说明

图1为本申请提供的一实施例基于深度学习的植物叶片病害检测方法的结构示意图；

图2为优化后的CSP结构的示意图；

图3为优化后的CAM结构的示意图；

图4为目标中心点落在特征图上不同位置时所使用的预测网格的示意图；

图5为本申请提供的一实施例基于深度学习的植物叶片病害检测方法的原理图；

图6为使用各模型的检测效果图；

图7为一个实施例中计算机设备的内部结构图。

图中附图标记说明如下：

10、预测网格；20、预测网格；30、真实框。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当解释，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

参考图1为本申请基于深度学习的植物叶片病害检测方法，包括：

S100、获取待检测病害的植物叶片图像；

S200、采用优化的YOLOv5s网络模型对所述植物叶片图像进行识别与检测，得到植物叶片病害的类别和位置；

所述优化的YOLOv5s网络模型包括主干网络和颈部网络，所述颈部网络包括若干优化的CSP结构和CAM结构，所述优化的CSP结构包括Ghost结构和倒残差结构，所述优化的CAM结构包括EPSA注意力模块和倒残差结构。具体的，优化的CSP结构将原有的卷积模块替换为Ghost结构和倒残差结构。

可以理解的，相对于传统算法中复杂的特征提取过程，基于深度学习技术的图像特征提取模块能够便捷快速的提取到图像的特征，包括图像的颜色、纹理和形状等。在图像检测问题上，通过多层图像特征提取模块提取低层次特征丰富的细节信息，提取高层次特征丰富的语义信息，获得更好的特征鲁棒性。

在本申请中，优化的CAM结构通过EPSA注意力模块和倒残差结构构建多分支网络结构；优化的CSP结构通过Ghost结构和倒残差结构构建多分支网络结构。

具体的，参考图2，优化的CSP结构将上层输入分为两部分，分别通过一个卷积层来调整通道维度，之后其中一个分支的输出通过Ghost模块来代替原CSP结构中的两个普通卷积层，该部分的结构能够在保证模型精度的同时减少模型的计算量，然后该部分的输出又被分为两个部分，一部分通过一个倒残差结构，该结构首先通过一个卷积层升高维度使深度卷积的输入和输出通道数更多，从而提取更多的信息。另一部分通过一个全局平均池化层来提取全局信息，加强全局信息的提取能力，这两部分能够分别提取输入层的不同特征信息，避免了重复提取相同特征造成的数据冗余现象。最后，将这三部分的输出在通道维度上进行拼接，然后再通过一个卷积层对最终的输出通道数进行调整。在改进的CSP结构中使用两种轻量化的结构来提取特征信息，一种是Ghost模块，一种是倒残差结构。优化的CSP结构能提取到更多的特征信息，增强模型的检测效果。

参考图3，优化的CAM结构使用了一种即插即用的高效的多尺度通道注意力机制，即EPSA模块。优化的CAM模块同时接受深层网络和浅层网络的输入，深层网络和浅层网络的输入均被分为两个分支。全局平均池化和全局最大池化在不同的层中会产生不同的效果，在浅层网络中，图片的抽象程度还不是很高，这时的图像包含着更多的纹理特征信息，而随着网络的加深，所得到的特征图越来越抽象，这时的图像包含着更多的语义信息和背景信息。所以在优化的CAM结构中所接受的浅层网络的输入通过的是全局最大池化层，通过该层来去除部分无效信息，使得到的特征图对细节信息更加敏感。而所接受的深层网络的输入则通过全局平均池化层来整合全局空间信息，获取全局上下文信息。优化的CAM结构还融合了两个上层输入的特征信息，保留了原始输入的特征信息，对经过池化操作之后丢失的特征信息做了补充。优化的CAM结构可以实现全局和局部特征的特征融合，能够更好的融合语义和尺度不一致的特征，从而增强网络全局信息的提取能力和提高网络模型的准确性。

本申请优化的YOLOv5s网络模型预先采用样本进行训练，训练过程时包括：

获取样本，在样本上设定真实框的位置；

设定预测框，使用第一公式计算提取的样本图像特征，得到预测框相对于真实框的位置。

使用第二公式计算预测框相对于真实框的位置，计算得到预测结果和真实结果的损失值，根据损失值进行反向传播完成模型参数的更新后结合SGD优化器继续训练得到相应优化的YOLOv5s网络模型。

本申请可根据优化的YOLOv5s网络模型得出的结果计算其植物叶片病害的平均精度(mAP)，根据平均精度与现有技术进行比较，其中，mAP越高模型的检测效果越好。

可以理解的，在YOLOv5s网络模型中，会预设九组锚值，预设锚值的中心点都落在预测网格的左上角，然后通过第一公式计算逐渐往目标中心点偏移，预测框距离目标中心点越近效果越好。

第一公式包括：

x＝2.2×σ(t_x)-0.6

y＝2.2×σ(t_y)-0.6

其中，

b_x、b_y分别表示预测目标中心点的位置；

σ表示Sigmoid函数；

t_x、t_y分别表示为相对于预测网格左上角，预测网格的目标中心x和y坐标的偏移量；

c_x、c_y表示为对应网格左上角原来的x和y坐标。

如图4所示，当目标中心点落在特征图上不同位置时所使用的预测网格其中绿色框为真实框30，蓝色框为所使用的预测网格10，红色框为相对于原来的预测网格我们额外添加的一个预测网格20用来增加训练过程中正样本的数量，黑点为真实框的中心点。可以理解的，公式首先增大了值域范围，将所需要的值都包含进去，然后再对值域范围进行限制，使其不超过预测网格中心点的偏移量所需要的最大值，根据原公式，当需要预测框中心点偏移量为1.5或-0.5时，根据预测网格偏移量公式，需要t_y趋向于正无穷大或t_x趋向于负无穷大，而修改后的公式不需要趋向于无穷大就可以取到所需要的值。

使用第二公式计算预测框相对于真实框的位置，计算得到预测结果和真实结果的损失值。通过损失函数计算公式计算预测框和真实框间的损失值，然后再根据损失值进行反向传播更新模型参数使得模型定位更精确，识别准确率更高。基于原损失函数公式：

其中，

ρ²(,b^gt)为真实框中心点到预测框中心点欧氏距离的平方，

c为两个目标框的闭包区域的对角线距离。

当两个目标框之间的距离不变时，c的距离越长则DIoU损失函数的值越小，这说明DIoU损失函数可能通过放大预测框来达到减小损失函数的目的。基于此，第二公式包括：

其中，

ρ²(l,l^gt)表示真实框和预测框左上角之间欧氏距离的平方；

ρ²(,b^gt)表示真实框中心点到预测框中心点欧氏距离的平方；

w^gt和w分别表示真实框和预测框的宽；

c表示两个目标框的闭包区域的对角线距离；

IoU表示预测框和真实框面积的交并比。

根据公式可知，通过在原公式的分母部分加上真实框和预测框左上角之间欧氏距离的平方来减小当预测框边长变化时DIoU值的变化大小，从而加快模型的收敛速度。同时根据抛物线思想推理得到了公式

该公式中引入了预测框和真实框的宽的比值，当预测框和真实框的边长一样时，

的比值为1，而当预测框和真实框的边长不一致时，

的比值会大于1或者小于1，所以只有当预测框和真实框的边长越来越接近时，损失值才会越来越小，该公式能够解决预测框边长被错误缩放的问题。

在本实施例中，参考图5，依次包括主干网络和颈部网络，优化的YOLOv5s网络模型的主干部分使用CSPDarknet53网络，对输入图像进行由浅层到深层的特征信息提取，此时不同层会获得输入图像不同程度的细节信息和语义信息。后面接一个SPP结构和一个CSP结构，可以提取不同尺寸的空间特征信息，加强模型的特征提取能力。颈部网络包括4个卷积层，4个优化的CSP结构以及2个优化的CAM结构，可以进一步提取图像的特征信息，同时融合不同尺度的特征信息，丰富特征表达能力，准确地表征叶片受病害信息。优化的YOLOv5s网络模型的输出层包括3个卷积层，3个卷积层可获得三种尺寸，分别为20×20，40×40，80×80，对应大目标、中目标和小目标的预测结果。其中，每个卷积层后面依次有1个批量归一化层和1个激活层，可以避免卷积网络权值的破坏，加快网络收敛。

在其他实施例中，为验证本申请基于深度学习的植物叶片病害检测方法的准确性，对葡萄、水蜜桃、土豆、苹果和玉米五种植物的八种病害进行混合训练与测试，并与其它检测网络模型进行对比。

参考图6，对于多种植物病害的混合数据集测试，如表1所示，表1展示了优化的YOLOv5s网络模型与其它六种检测模型(Faster R-CNN，SSD，YoLOv3，YOLOv4，YOLOv4-tiny和YOLOv5s)在植物叶片病害数据集上混合测试的实验结果，包括模型mAP值，模型参数量，模型计算量，模型F1值，模型召回率和精度。我们的模型参数量为7.62M，计算量为10.17G，检测速度为40.01FPS，模型的mAP值和F1值分别为95.92％和0.91。从表1中可以看出，优化的YOLOv5s网络模型参数量和计算量较小，能达到实时检测的要求，并且mAP值更高。

表1

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种植物病害严重程度图像分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

述处理器执行计算机程序时实现以下步骤：

获取待检测病害的植物叶片图像；

采用优化的yolov5s网络模型对植物叶片图像进行识别与检测，得到植物叶片病害的类别和位置；

优化的yolov5s网络模型包括主干网络和颈部网络，颈部网络包括若干优化的CSP结构和CAM结构，优化的CSP结构包括Ghost结构和倒残差结构，优化的CAM结构包括EPSA注意力模块和倒残差结构。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

述处理器执行计算机程序时实现以下步骤：

获取待检测病害的植物叶片图像；

采用优化的yolov5s网络模型对植物叶片图像进行识别与检测，得到植物叶片病害的类别和位置；

优化的yolov5s网络模型包括主干网络和颈部网络，颈部网络包括若干优化的CSP结构和CAM结构，优化的CSP结构包括Ghost结构和倒残差结构，优化的CAM结构包括EPSA注意力模块和倒残差结构。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。不同实施例中的技术特征体现在同一附图中时，可视为该附图也同时披露了所涉及的各个实施例的组合例。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (10)

1.基于深度学习的植物叶片病害检测方法，其特征在于，包括：

获取待检测病害的植物叶片图像；

采用优化的YOLOv5s网络模型对所述植物叶片图像进行识别与检测，得到植物叶片病害的类别和位置；

所述优化的YOLOv5s网络模型包括主干网络和颈部网络，所述颈部网络包括若干优化的CSP结构和CAM结构，所述优化的CSP结构包括Ghost结构和倒残差结构，所述优化的CAM结构包括EPSA注意力模块和倒残差结构。

2.根据权利要求1所述的基于深度学习的植物叶片病害检测方法，其特征在于，所述优化的YOLOv5s网络模型预先采用样本进行训练，所述训练过程时包括：

获取样本，在所述样本上设定真实框的位置；

设定预测框，使用第一公式计算提取的样本图像特征，得到所述预测框相对于所述真实框的位置；

使用第二公式计算所述预测框相对于所述真实框的位置，计算得到所述预测结果和真实结果的损失值，根据损失值进行反向传播完成模型参数的更新后继续训练得到相应优化的YOLOv5s网络模型。

3.根据权利要求2所述的基于深度学习的植物叶片病害检测方法，其特征在于，所述第一公式包括：

x＝2.2×σ(t_x)-0.6

y＝2.2×σ(t_y)-0.6

其中，

b_x、b_y分别表示预测目标中心点的位置；

σ表示Sigmoid函数；

t_x、t_y分别表示为相对于预测网格左上角，预测网格的目标中心x和y坐标的偏移量；

c_x、c_y表示为对应网格左上角原来的x和y坐标。

4.根据权利要求2所述的基于深度学习的植物叶片病害检测方法，其特征在于，所述第二公式包括：

其中，

ρ²(l,l^gt)表示真实框和预测框左上角之间欧氏距离的平方；

ρ²(,b^gt)表示真实框中心点到预测框中心点欧氏距离的平方；

w^gt和w分别表示真实框和预测框的宽；

c表示两个目标框的闭包区域的对角线距离；

IoU表示预测框和真实框面积的交并比。

5.根据权利要求1所述的基于深度学习的植物叶片病害检测方法，其特征在于，所述优化的CAM结构通过EPSA注意力模块和倒残差结构构建多分支网络结构；

所述优化的CSP结构通过Ghost结构和倒残差结构构建多分支网络结构。

6.根据权利要求1所述的基于深度学习的植物叶片病害检测方法，其特征在于，所述主干网络包括CSPDarknet53网络以及设置于CSPDarknet53网络后的SPP结构和CSP结构。

7.根据权利要求1所述的基于深度学习的植物叶片病害检测方法，其特征在于，所述颈部网络包括4个卷积层，4个优化的CSP结构以及2个优化的CAM结构，每一卷积层对应有1个批量归一化层以及1个激活层。

8.根据权利要求1所述的基于深度学习的植物叶片病害检测方法，其特征在于，所述优化的YOLOv5s网络模型的输出层包括3个卷积层，所述3个卷积层可获得三种尺寸，分别为20×20，40×40，80×80。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images