CN114219984B - 一种基于改进YOLOv3的微小病虫害检测系统及其方法 - Google Patents

Abstract

本发明公开了一种基于改进YOLOv3的微小病虫害检测系统及其方法，该系统包括：输入模块和改进YOLOv3模型；输入模块与改进YOLOv3模型相连，用于将图像输入至改进YOLOv3模型；改进YOLOv3模型中包括幻象模块、注意力模块、上下文增强模块CAM、小目标检测头和判断模块；该方法包括以下步骤：将待检测图像输入至训练好的改进YOLOv3网络模型中，通过改进YOLOv3网络模型判断图像上是否患有病症或出现虫害现象；本发明能够在自然条件下达到有效减少复杂背景造成误检的同时改善微小病虫害的检测和定位的效果，为后续的病虫害检测算法研究以及工程应用提供新的思路。

Description

一种基于改进YOLOv3的微小病虫害检测系统及其方法

技术领域

本发明涉及病虫害检测技术领域，更具体的说是涉及一种基于改进YOLOv3的微小病虫害检测系统及其方法。

背景技术

近年来，深度学习已经成为图像处理、自然语言处理、推荐系统等各个领域的热门技术。尤其在计算机视觉领域，深度学习展现出明显的优势，也引发了研究热潮，进一步也为其他领域带来了革命性的进步。

在病虫害检测方面，深度学习也具有很好的发展前景。现在病虫害检测的方法主要有基于人工的识别方法、基于模式识别和机器学习的识别方法、基于深度学习的识别方法。基于人工的识别方法主要通过人工现场检查、识别，依据经验辨别病虫害，这种方法主观性太强，不仅效率低而且识别准确率也低。基于模式识别和机器学习的识别方法主要通过提取病虫害特征并利用线性分类器、贝叶斯决策理论、模糊识别、多层感知机、随机森林等技术对其进行预测。虽然这种方法能够识别某一作物的某些特定特征进而判断作物受害情况，但是仍然面临特征提取难、训练样本少等问题。所以越来越多的国内外学者开始借助深度学习技术进行农作物病虫害的识别。深度学习可以自动、高效、准确的从大量农作物图像中提取病虫害目标特征，从而代替传统依赖手工提取特征的方法。然而目前基于深度学习的识别方法在自然环境下检测效果依然很差，且在病害早期，病斑、病虫较微小的情况下检测的准确率依然很低。

中国专利申请CN112381764A公开了一种基于YOLOv3的农作物病虫害检测方法。该方法包括：采集农作物图像、对所述农作物图像进行预处理和将预处理后的图像输入改进型YOLOv3网络中进行预测三个步骤。具体的改进是在原始YOLOv3基础上，借鉴DenseNet的思想，将原先的主干网络中残差模块替换为密集连接模块，并增加过渡模块；将网络中的横向连接的FPN网络替换为密集连接的FPN网络；再对密集连接模块进行层剪枝和知识蒸馏以轻量化网络，得到最终的改进型YOLOv3网络。然而，上述方法虽然可以在单叶片的实验环境下有不错的效果，但是在病害早期，病斑、病虫较微小的自然环境中，检测的效果依然不是很理想。

因此，提供一种基于改进YOLOv3的微小病虫害检测系统及其方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于改进YOLOv3的微小病虫害检测系统及其方法，在自然环境下，有效提高了微小病虫害检测效果，从而达到有效减少复杂背景造成误检的同时改善微小病虫害的检测和定位效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于改进YOLOv3的微小病虫害检测系统，包括：输入模块和改进YOLOv3模型；

所述输入模块与所述改进YOLOv3模型相连，用于将图像输入至所述改进YOLOv3模型；

所述改进YOLOv3模型中包括幻象模块、注意力模块、上下文增强模块CAM、小目标检测头和判断模块；

所述幻象模块Ghost Block替换原始YOLOv3模型主干网络DarkNet53中的残差模块，用于通过DWConv对图像进行线性运算获得深度卷积后的特征图，并将深度卷积后的特征图与原始YOLOv3模型提取的特征图进行拼接；

所述注意力模块在主干网络的最后一层引入所述协同注意力机制，用于进行位置信息嵌入和坐标注意力生成，在捕获阔通道信息的同时，捕获方向感知和位置感知；

所述上下文增强模块CAM的输入与所述原始YOLOv3模型中的特征金子塔网络FPN的输出相连，所述上下文增强模块CAM的输出连接所述原始YOLOv3模型中的张量拼接模块，用于通过不同扩张率的空洞卷积来获取不同感受野的上下文信息来丰富FPN的上下文信息，得到上下文增强后的特征图；

所述小目标检测头由底层、高分辨率的特征图生成，用于小物体检测，与所述原始YOLOv3模型中的原检测头协同工作，将检测到的图像病虫害类别和位置信息发送至所述判断模块；

所述判断模块，用于接收所有检测头检测到的图像病虫害类别和位置信息，经过数据处理后判断图像上是否患有某种病症或出现虫害现象。

优选的，还包括预处理和数据增强模块；

所述预处理和数据增强模块与所述输入模块相连，用于对所述输入模块接收到的图像数据进行数据增强，对增强后的图像进行尺寸归一化，得到适应改进YOLOv3的模型结构的图像。

优选的，数据增强的方法包括以下五种：

1)加入图像噪声；选取高斯噪声，椒盐噪声，泊松噪声三种常见图像噪声，并且改变不同的信噪比生成数据。式中N(θ)为噪声，θ为噪声参数；

S(o)＝S(i)+N(θ)

其中，S(o)为增强后图像，S(i)为原始图像；

2)图像模糊化；选取均值滤波、高斯滤波、运动模糊、对比度增强滤波等常见滤波器，设定不同参数得到经过滤波器后的图像；

S(o)＝F(S(i)|φ)

其中，F(·)为滤波器，φ为滤波器参数；

3)改变图像明暗度；选取不同的亮度比例，将原图像进行亮度值变换；

S(o)＝f(S(i))

其中，f(·)为亮度变化函数；

4)图像马赛克增强；从训练集中随机抽取3张图像和当前图像进行拼接，拼接之后就获得一张新的图片，同时也获得这张图片对应的真实框，式中M(·)为马赛克增强函数；

S(o)＝M(S(i))

5)图像随机复制-粘贴增强；对每一张训练图像，若当前训练图像中含有小目标，则在当前训练图像上对小目标进行随机复制粘贴：

S(o)＝C(S(i))

式中C(·)为复制-粘贴增强函数。

优选的，所述幻象模块Ghost Block包括Ghost模型、DWConv单元和融合单元，其中，所述Ghost模型包括第一Ghost模型和第二Ghost模型，所述第一Ghost模型的输出连接所述DWConv单元，所述DWConv单元的输出连接所述第二Ghost模型的输入，所述第二Ghost模型的输出连接所述融合单元的输入，所述融合单元的输入还同时接收与所述第一Ghost模型相同的输入；

使用图片的部分进行原始卷积操作，所述DWConv单元用于对图像进行线性运算获得深度卷积后的特征图；

所述融合单元用于在通道维度上将原始卷积后的特征图与深度卷积后的特征图进行拼接，得到所述幻象模块Ghost Block最终特征图；

所述Ghost Module包括常规卷积单元、Ghost生成单元和特征图拼接单元；

所述常规卷积单元用于对输入特征图用常规卷积得到特征图Y1；

所述Ghost生成单元将所述特征图Y1的每一个通道的特征图用恒等映射Identity的方式直接输出得到Ghost特征图；

所述特征图拼接单元将所述特征图Y1和所述Ghost特征图进行拼接得到所述Ghost Module最终的输出特征图Output。

优选的，所述注意力模块包括：位置信息嵌入单元和坐标注意力生成单元；

所述位置信息嵌入单元，用于将全局池化操作分解为一维特征编码操作，其中，对于输入特征图X通过池化核沿着水平方向和竖直方向对每个通道进行编码，得到嵌入位置信息的特征图；

所述坐标注意力生成单元，用于根据所述位置信息嵌入单元生成的特征图生成融合全局信息的中间特征图f，且f∈R^C/r×(H+W)，并根据空间维度将中间特征图分割为两个单独的向量f^h和f^w；f^h∈R^C/r×H和f^w∈R^C/r×H，从而生成注意力权重，将所述注意力权重与所述输入特征图X进行融合，得到最终输出。

优选的，所述位置信息嵌入单元中得到嵌入位置信息的特征图的具体过程为：

对于输入特征图X，使用尺寸(H，1)和(1，W)的池化核沿着水平方向和竖直方向对每个通道进行编码，得到高度为h的第c个通道输出表示：

宽度为w的第c个通道的输出表示为：

优选的，所述坐标注意力生成单元得到最终输出的过程为：

所述位置信息嵌入单元生成的一对方向感知注意力特征图，即X方向和Y方向的特征图，使用同一个1x1卷积对位置信息嵌入单元生成的X方向和Y方向的特征图进行变换F1，生成融合全局信息的中间特征图f∈R^C/r×(H+W)：

f＝δ(F₁([z^h,z^w]))

其中，r表示下采样比例，δ为批量归一化和激活函数操作；

沿空间维度将f分割成两个单独的向量f^h和f^w；

利用两个1x1卷积F_h和F_w将特征图f^h和f^w变换到与所述输入特征图X相同的通道数，得到结果：

g^h＝σ(F_h(f^h)

g^w＝σ(F_w(f^w))

对g^h和g^w进行扩展，作为注意力权重，与所述输入特征图X相乘，得到所述注意力模块最终的输出为：

优选的，如图5所示，所述上下文增强模块CAM得到上下文增强后的特征图的具体过程包括：

将FPN的各个输出分别作为所述CAM的输入，分别以扩张率1、3、5、7用空洞卷积对所述CAM进行卷积操作以获得不同感受野的上下文语义信息，得到4个具有上下文语义信息的特征图；

对得到的4个特征图分别进行一次1x1卷积，获得大小相同的特征图后再进行拼接操作，得到上下文增强后的特征图。

优选的，所述判断模块判断图像上是否患有某种病症或出现虫害现象的具体过程包括：

接收所有检测头检测到的图像病虫害类别和位置信息，并将所接收到的数据信息进行非极大值抑制，过滤低质量预测框，保留高质量预测框，作为最终预测结果，进而根据所述最终预测结果判断图像上是否患有病症或出现虫害现象。

一种基于改进YOLOv3的微小病虫害检测方法，包括以下步骤：将待检测图像输入至训练好的改进YOLOv3网络模型中，通过所述改进YOLOv3网络模型判断图像上是否患有病症或出现虫害现象；

所述改进YOLOv3网络模型训练的过程包括以下内容：

S1.采集自然环境下的病虫害图像，制作微小病虫害数据集，其中数据集包括训练数据集、验证数据集和测试数据集；

S2.将数据集图像进行预处理和数据增强；

S3.搭建改进YOLOv3网络模型；

S4.将预处理和数据增强后的所述训练数据集图像输入改进YOLOv3模型中对模型进行训练，通过验证数据集和测试数据集输入改进YOLOv3模型中对模型参数进行调整和验证，完成模型的训练。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于改进YOLOv3的微小病虫害检测系统及其方法，本发明将YOLOv3模型和幻象卷积模块(GhostBlock)、协同注意力机制(Coordinate Attention)以及上下文增强模块(CAM)相结合，相较于现有的YOLOv3模型而言，对微小病虫害的检测精度有明显提升。尤其在自然条件下，可以达到有效减少复杂背景造成误检的同时改善微小病虫害的检测和定位效果，为后续的病虫害检测算法研究以及工程应用提供新的思路。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的一种基于改进YOLOv3的微小病虫害检测系统的整体结构示意图；

图2附图为本发明提供的一种基于改进YOLOv3的微小病虫害检测系统中数据预处理和数据增强的流程示意图；

图3附图为本发明提供的一种基于改进YOLOv3的微小病虫害检测系统中幻象模块的结构示意图；

图4附图为本发明提供的一种基于改进YOLOv3的微小病虫害检测系统中注意力模块的结构示意图；

图5附图为本发明提供的一种基于改进YOLOv3的微小病虫害检测系统中上下文增强模块的结构示意图；

图6附图为本发明提供的一种基于改进YOLOv3的微小病虫害检测方法的整体流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于改进YOLOv3的微小病虫害检测系统，如图1所示，包括：输入模块和改进YOLOv3模型；

输入模块与改进YOLOv3模型相连，用于将图像输入至改进YOLOv3模型；

改进YOLOv3模型中包括幻象模块、注意力模块、上下文增强模块CAM、小目标检测头和判断模块；

幻象模块Ghost Block替换原始YOLOv3模型主干网络DarkNet53中的残差模块，用于通过DWConv对图像进行线性运算获得深度卷积后的特征图，并将深度卷积后的特征图与原始YOLOv3模型提取的特征图进行拼接；

注意力模块在主干网络的最后一层引入协同注意力机制，用于进行位置信息嵌入和坐标注意力生成，在捕获阔通道信息的同时，捕获方向感知和位置感知；

上下文增强模块CAM的输入与原始YOLOv3模型中的特征金子塔网络FPN的输出相连，上下文增强模块CAM的输出连接原始YOLOv3模型中的张量拼接模块，用于通过不同扩张率的空洞卷积来获取不同感受野的上下文信息来丰富FPN的上下文信息，得到上下文增强后的特征图；

小目标检测头由底层、高分辨率的特征图生成，用于小物体检测，与原始YOLOv3模型中的原检测头协同工作，将检测到的图像病虫害类别和位置信息发送至判断模块；

判断模块，用于接收所有检测头检测到的图像病虫害类别和位置信息，经过数据处理后判断图像上是否患有某种病症或出现虫害现象。

需要说明的是：

在本实施例中，向该模型输入一张图片，首先经过改进的YOLOv3网络特征提取层Backbone，该特征提取层Backbone是在原始的YOLOv3的Darknet53的基础上，将正常卷积改为幻象卷积，将残差模块改为幻想模块，并在特征提取层Backbone的最后一层添加坐标注意力模块，增强对小目标位置的回归。再从特征提取层Backbone中引出4条支路连接特征融合层，对高维和低维的特征图进行融合，增强特征图的信息。这里的改进是在特征提取层Backbone和特征融合层Neck之间添加一个上下文增强模块CAM，通过关注病虫害周围信息从而增强微小病虫害的检测能力。最后特征融合层输出4个检测头，在YOLOv3的基础上额外增加了一个专门针对微小病虫害的检测头。张量拼接模块将上下文增强模块CAM的输出和经过上采样处理的深层特征图拼接起来，获得更多的语义信息。

在YOLOv3的检测头基础上，增加一个小目标检测头。原始的YOLOv3包括三个检测头，分别利用8倍下采样、16倍下采样、32倍下采样的特征图作为预测特征层去检测目标。当输入图像尺寸为640x640时，三个检测头分别得到大小为80x80、40x40、20x20的预测特征层，可以用来分别检测大小在8x8、16x16、32x32以上的目标，所以当某一目标在原图上大小小于8x8时，检测这个目标将会变得非常困难。而经过统计自然环境中的病虫数据集会发现，通常会包含很多非常微小的病虫害，所以如图1所示，在原始YOLOv3的三个检测头(P1、P2、P3)的基础上，再额外添加一个专门用于小物体检测的检测头。添加的检测头P4是由底层、高分辨率的特征图生成的，保留了大量的图像细节细心，对微小病虫害更为敏感，可以很大的增强YOLOv3模型对于微小病虫害的检测能力。

为了进一步实施上述技术方案，如图2所示，还包括预处理和数据增强模块；

预处理和数据增强模块与输入模块相连，用于对输入模块接收到的图像数据进行数据增强，对增强后的图像进行尺寸归一化，得到适应改进YOLOv3的模型结构的图像。

需要说明的是：

考虑到人工采集图像数据量小的问题，为了提高模型的鲁棒性和识别精度，进行图像增强。根据以上几种常见策略，通过利用该类策略对第一步的得到的训练图像进行变换，实现对微小病虫害图像训练数据集的图像增强。增强后的数据量是原始数据量的14倍。最后为了适应改进YOLOv3的模型结构，对图像进行尺寸归一化，得到尺寸为640*640的图像。

为了进一步实施上述技术方案，数据增强的方法包括以下五种：

1)加入图像噪声；选取高斯噪声，椒盐噪声，泊松噪声三种常见图像噪声，并且改变不同的信噪比生成数据。式中N(θ⁾为噪声，θ为噪声参数；

S(o)＝S(i)+N(θ)

其中，S(o)为增强后图像，S(i)为原始图像；

2)图像模糊化；选取均值滤波、高斯滤波、运动模糊、对比度增强滤波等常见滤波器，设定不同参数得到经过滤波器后的图像；

S(o)＝F(S(i)|φ)

其中，F(·)为滤波器，φ为滤波器参数；

3)改变图像明暗度；选取不同的亮度比例，将原图像进行亮度值变换；

S(o)＝f(S(i))

其中，f(·)为亮度变化函数；

4)图像马赛克增强；从训练集中随机抽取3张图像和当前图像进行拼接，拼接之后就获得一张新的图片，同时也获得这张图片对应的真实框，式中M(·)为马赛克增强函数；

S(o)＝M(S(i))

5)图像随机复制-粘贴增强；对每一张训练图像，若当前训练图像中含有小目标，则在当前训练图像上对小目标进行随机复制粘贴：

S(o)＝C(S(i))

式中C(·)为复制-粘贴增强函数。

需要说明的是：

在本实施例中，对每张图像分别进行进行加入图像噪声、改变图像明暗度、改变图像明暗度、图像马赛克增强以及图像随机复制-粘贴增强，将数据量增强为原始数据量的14倍。最后对图像进行尺寸归一化处理，得到尺寸为640*640的图像。

为了进一步实施上述技术方案，如图3所示，幻象模块Ghost Block包括Ghost模型、DWConv单元和融合单元，其中，Ghost模型包括第一Ghost模型和第二Ghost模型，第一Ghost模型的输出连接DWConv单元，DWConv单元的输出连接第二Ghost模型的输入，第二Ghost模型的输出连接融合单元的输入，融合单元的输入还同时接收与第一Ghost模型相同的输入；

使用图片的部分进行原始卷积操作，DWConv单元用于对图像进行线性运算获得深度卷积后的特征图；

融合单元用于在通道维度上将原始卷积后的特征图与深度卷积后的特征图进行拼接，得到所述幻象模块Ghost Block最终特征图；

所述Ghost Module包括常规卷积单元、Ghost生成单元和特征图拼接单元；

所述常规卷积单元用于对输入特征图用常规卷积得到特征图Y1；

所述Ghost生成单元将所述特征图Y1的每一个通道的特征图用恒等映射Identity的方式直接输出得到Ghost特征图；

所述特征图拼接单元将所述特征图Y1和所述Ghost特征图进行拼接得到所述Ghost Module最终的输出特征图Output。

需要说明的是：

通过这种GhostNet的卷积方式可以在降低模型参数的同时，生成更多的特征，使模型拥有更强的病虫害特征提取能力，进一步加强模型对病虫害的检测效果。

为了进一步实施上述技术方案，如图4所示，注意力模块包括：位置信息嵌入单元和坐标注意力生成单元；

位置信息嵌入单元，用于将全局池化操作分解为一维特征编码操作，其中，对于输入特征图X通过池化核沿着水平方向和竖直方向对每个通道进行编码，得到嵌入位置信息的特征图；

坐标注意力生成单元，用于根据位置信息嵌入单元生成的特征图生成融合全局信息的中间特征图f，且f∈R^C/r×(H+W)，并根据空间维度将中间特征图分割为两个单独的向量f^h和f^w；f^h∈R^C/r×H和f^w∈R^C/r×H，从而生成注意力权重，将注意力权重与输入特征图X进行融合，得到最终输出。

需要说明的是：

在主干网络的最后一层引入协同注意力机制，在捕获阔通道信息的同时，还能捕获方向感知和位置感知，帮助模型更加精确的定位和识别感兴趣区域，可以有效的增强模型对于微小病虫害的检测能力。

位置信息嵌入单元即为图3中的CA，作为主干特征提取网络Backbone的最后一层，输入为Backbone的倒数第二层，输出为主干特征提取网络Backbone的输出。

为了进一步实施上述技术方案，位置信息嵌入单元中得到嵌入位置信息的特征图的具体过程为：

对于输入特征图X，使用尺寸(H，1)和(1，W)的池化核沿着水平方向和竖直方向对每个通道进行编码，得到高度为h的第c个通道输出表示：

宽度为w的第c个通道的输出表示为：

为了进一步实施上述技术方案，坐标注意力生成单元得到最终输出的过程为：

位置信息嵌入单元生成的一对方向感知注意力特征图，即X方向和Y方向的特征图，使用同一个1x1卷积对位置信息嵌入单元生成的X方向和Y方向的特征图进行变换F1，生成融合全局信息的中间特征图f∈R^C/r×(H+W)：

f＝δ(F₁([z^h,z^w]))

其中，r表示下采样比例，δ为批量归一化和激活函数操作；

沿空间维度将f分割成两个单独的向量f^h和f^w；

利用两个1x1卷积F_h和F_w将特征图f^h和f^w变换到与输入特征图X相同的通道数，得到结果：

g^h＝σ(F_h(f^h)

g^w＝σ(F_w(f^w))

对g^h和g^w进行扩展，作为注意力权重，与输入特征图X相乘，得到注意力模块最终的输出为：

为了进一步实施上述技术方案，上下文增强模块CAM得到上下文增强后的特征图的具体过程包括：

将FPN的各个输出分别作为CAM的输入，分别以扩张率1、3、5、7用空洞卷积对CAM进行卷积操作以获得不同感受野的上下文语义信息，得到4个具有上下文语义信息的特征图；

对得到的4个特征图分别进行一次1x1卷积，获得大小相同的特征图后再进行拼接操作，得到上下文增强后的特征图。

需要说明的是：

如图1所示，在原有的特征金子塔网络(Feature Pyramid Networks，简称FPN)的基础上加入上下文增强模块(Context Augmentation Module，简称CAM)。众所周知，上下文信息对于微小目标的检测是非常重要的，受空洞空间卷积池化金字塔的启发，这里使用不同扩张率的3x3空洞卷积来获取不同感受野的上下文信息来丰富FPN的上下文信息。具体结构如图5所示，通过上下文增强后的特征图具有非常丰富的上下文信息，可以进一步增加模型对于微小病虫害检测的能力。

为了进一步实施上述技术方案，判断模块判断图像上是否患有某种病症或出现虫害现象的具体过程包括：

接收所有检测头检测到的图像病虫害类别和位置信息，并将所接收到的数据信息进行非极大值抑制，过滤低质量预测框，保留高质量预测框，作为最终预测结果，进而根据最终预测结果判断图像上是否患有病症或出现虫害现象。

一种基于改进YOLOv3的微小病虫害检测方法，如图6所示，包括以下步骤：将待检测图像输入至训练好的改进YOLOv3网络模型中，通过改进YOLOv3网络模型判断图像上是否患有病症或出现虫害现象；

改进YOLOv3网络模型训练的过程包括以下内容：

S1.采集自然环境下的病虫害图像，制作微小病虫害数据集，其中数据集包括训练数据集、验证数据集和测试数据集；

S2.将数据集图像进行预处理和数据增强；

S3.搭建改进YOLOv3网络模型；

S4.将预处理和数据增强后的训练数据集图像输入改进YOLOv3模型中对模型进行训练，通过验证数据集和测试数据集输入改进YOLOv3模型中对模型参数进行调整和验证，完成模型的训练。

需要说明的是：

在实际应用过程中，在真实的自然环境下使用智能手机或者高清摄像机拍摄农作物初期微小的病害、虫害图像，且图像的角度、光照、天气状况要尽可能的丰富。再使用labelimg图像标注软件对微小病虫害图像进行人工标注，记录下病虫害在整张图像中的左上角和右下角的坐标，作为图像的标签数据。在本实施例中，将数据集按照6:2:2的比例划分为训练数据集、验证数据集和测试数据集。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于改进YOLOv3的微小病虫害检测系统，其特征在于，包括：输入模块和改进YOLOv3模型；

所述输入模块与所述改进YOLOv3模型相连，用于将图像输入至所述改进YOLOv3模型；

所述改进YOLOv3模型中包括幻象模块、注意力模块、上下文增强模块CAM、小目标检测头和判断模块；

所述幻象模块Ghost Block替换原始YOLOv3模型主干网络DarkNet53中的残差模块，用于通过DWConv对特征图进行线性运算获得深度卷积后的特征图，并将深度卷积后的特征图与原始YOLOv3模型提取的特征图进行拼接；

所述注意力模块在主干网络的最后一层引入协同注意力机制，用于进行位置信息嵌入和坐标注意力生成，在捕获阔通道信息的同时，捕获方向感知和位置感知；

所述上下文增强模块CAM的输入与所述原始YOLOv3模型中的特征金子塔网络FPN的输出相连，所述上下文增强模块CAM的输出连接所述原始YOLOv3模型中的张量拼接模块，用于通过不同扩张率的空洞卷积来获取不同感受野的上下文信息来丰富FPN的上下文信息，得到上下文增强后的特征图；

所述小目标检测头由底层、高分辨率的特征图生成，用于小物体检测，与所述原始YOLOv3模型中的原检测头协同工作，将检测到的图像病虫害类别和位置信息发送至所述判断模块；

所述判断模块，用于接收所有检测头检测到的图像病虫害类别和位置信息，经过数据处理后判断图像上是否患有某种病症或出现虫害现象；

所述注意力模块包括：位置信息嵌入单元和坐标注意力生成单元；

所述位置信息嵌入单元，用于将全局池化操作分解为一维特征编码操作，其中，对于输入特征图X通过池化核沿着水平方向和竖直方向对每个通道进行编码，得到嵌入位置信息的特征图；

所述坐标注意力生成单元，用于根据所述位置信息嵌入单元生成的特征图生成融合全局信息的中间特征图f，且f∈R^C/r×(H+W)，并根据空间维度将中间特征图分割为两个单独的向量f^h和f^w；f^h∈R^C/r×H和f^w∈R^C/r×H，从而生成注意力权重，将所述注意力权重与所述输入特征图X进行融合，得到最终输出；

所述位置信息嵌入单元中得到嵌入位置信息的特征图的具体过程为：

对于输入特征图X，使用尺寸(H，1)和(1，W)的池化核沿着水平方向和竖直方向对每个通道进行编码，得到高度为h的第c个通道输出表示：

宽度为w的第c个通道的输出表示为：

所述坐标注意力生成单元得到最终输出的过程为：

所述位置信息嵌入单元生成的一对方向感知注意力特征图，即X方向和Y方向的特征图，使用同一个1x1卷积对位置信息嵌入单元生成的X方向和Y方向的特征图进行变换F1，生成融合全局信息的中间特征图fw∈R^C/r×(H+W)：

f＝δ(F₁([z^h，z^w]))

其中，r表示下采样比例，δ为批量归一化和激活函数操作；

沿空间维度将f分割成两个单独的向量f^h和f^w；

利用两个1x1卷积F_h和F_w将特征图f^h和f^w变换到与所述输入特征图X相同的通道数，得到结果：

g^h＝σ(F_h(f^h))

g^w＝σ(F_w(f^w))

对g^h和g^w进行扩展，作为注意力权重，与所述输入特征图X相乘，得到所述注意力模块最终的输出为：

2.根据权利要求1所述的一种基于改进YOLOv3的微小病虫害检测系统，其特征在于，还包括预处理和数据增强模块；

所述预处理和数据增强模块与所述输入模块相连，用于对所述输入模块接收到的图像数据进行数据增强，对增强后的图像进行尺寸归一化，得到适应改进YOLOv3的模型结构的图像。

3.根据权利要求2所述的一种基于改进YOLOv3的微小病虫害检测系统，其特征在于，所述数据增强的方法包括以下五种：

1)加入图像噪声；选取高斯噪声，椒盐噪声，泊松噪声三种常见图像噪声，并且改变不同的信噪比生成数据；式中N(θ)为噪声，θ为噪声参数；

S(o)＝S(i)+N(θ)

其中，S(o)为增强后图像，S(i)为原始图像；

2)图像模糊化；滤波器选取均值滤波、高斯滤波、运动模糊、对比度增强滤波，设定不同参数得到经过滤波器后的图像；

S(o)＝F(S(i)|φ)

其中，F(·)为滤波器，φ为滤波器参数；

3)改变图像明暗度；选取不同的亮度比例，将原图像进行亮度值变换；

S(o)＝f(S(i))

其中，f(·)为亮度变化函数；

4)图像马赛克增强；从训练集中随机抽取3张图像和当前图像进行拼接，拼接之后就获得一张新的图片，同时也获得这张图片对应的真实框，式中M(·)为马赛克增强函数；

S(o)＝M(S(i))

5)图像随机复制-粘贴增强；对每一张训练图像，若当前训练图像中含有小目标，则在当前训练图像上对小目标进行随机复制粘贴：

S(o)＝C(S(i))

式中C(·)为复制-粘贴增强函数。

4.根据权利要求1所述的一种基于改进YOLOv3的微小病虫害检测系统，其特征在于，所述幻象模块Ghost Block包括Ghost Module、DWConv单元和融合单元，其中，所述幻象模块Ghost Block包括第一Ghost Module和第二Ghost Module，所述第一Ghost Module的输出连接所述DWConv单元，所述DWConv单元的输出连接所述第二Ghost Module的输入，所述第二Ghost模型的输出连接所述融合单元的输入，所述融合单元的输入还同时接收与所述第一Ghost Module相同的输入；

使用特征图的部分进行原始卷积操作，所述DWConv单元用于对图像进行线性运算获得深度卷积后的特征图；

所述融合单元用于在通道维度上将原始卷积后的特征图与深度卷积后的特征图进行拼接，得到所述幻象模块Ghost Block最终特征图；

所述Ghost Module包括常规卷积单元、Ghost生成单元和特征图拼接单元；

所述常规卷积单元用于对输入特征图用常规卷积得到特征图Y1；

所述Ghost生成单元将所述特征图Y1的每一个通道的特征图用恒等映射Identity的方式直接输出得到Ghost特征图；

所述特征图拼接单元将所述特征图Y1和所述Ghost特征图进行拼接得到所述GhostModule最终的输出特征图Output。

5.根据权利要求1所述的一种基于改进YOLOv3的微小病虫害检测系统，其特征在于，所述上下文增强模块CAM得到上下文增强后的特征图的具体过程包括：

将FPN的各个输出分别作为所述CAM的输入，分别以扩张率1、3、5、7用空洞卷积对所述CAM进行卷积操作以获得不同感受野的上下文语义信息，得到4个具有上下文语义信息的特征图；

对得到的4个特征图分别进行一次1x1卷积，获得大小相同的特征图后再进行拼接操作，得到上下文增强后的特征图。

6.根据权利要求1所述的一种基于改进YOLOv3的微小病虫害检测系统，其特征在于，所述判断模块判断图像上是否患有某种病症或出现虫害现象的具体过程包括：

接收所有检测头检测到的图像病虫害类别和位置信息，并将所接收到的数据信息进行非极大值抑制，过滤低质量预测框，保留高质量预测框，作为最终预测结果，进而根据所述最终预测结果判断图像上是否患有病症或出现虫害现象。

7.一种基于改进YOLOv3的微小病虫害检测方法，其特征在于，应用于权利要求1-6任一项所述的一种基于改进YOLOv3的微小病虫害检测系统，包括以下步骤：将待检测图像输入至训练好的改进YOLOv3网络模型中，通过所述改进YOLOv3网络模型判断图像上是否患有病症或出现虫害现象；

所述改进YOLOv3网络模型训练的过程包括以下内容：

S1.采集自然环境下的病虫害图像，制作微小病虫害数据集，其中数据集包括训练数据集、验证数据集和测试数据集；

S2.将数据集图像进行预处理和数据增强；

S3.搭建改进YOLOv3网络模型；

S4.将预处理和数据增强后的所述训练数据集图像输入改进YOLOv3模型中对模型进行训练，通过验证数据集和测试数据集输入改进YOLOv3模型中对模型参数进行调整和验证，完成模型的训练。