CN114220035A - 一种基于改进yolo v4的快速害虫检测方法 - Google Patents

一种基于改进yolo v4的快速害虫检测方法 Download PDF

Info

Publication number
CN114220035A
CN114220035A CN202111590018.8A CN202111590018A CN114220035A CN 114220035 A CN114220035 A CN 114220035A CN 202111590018 A CN202111590018 A CN 202111590018A CN 114220035 A CN114220035 A CN 114220035A
Authority
CN
China
Prior art keywords
pest
loss
image
rapid
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111590018.8A
Other languages
English (en)
Inventor
王儒敬
董士风
刘康
焦林
王粉梅
黄子良
郑世健
滕越
刘海云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Intelligent Agriculture Collaborative Innovation Research Institute Of China Science And Technology
Original Assignee
Hefei Intelligent Agriculture Collaborative Innovation Research Institute Of China Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Intelligent Agriculture Collaborative Innovation Research Institute Of China Science And Technology filed Critical Hefei Intelligent Agriculture Collaborative Innovation Research Institute Of China Science And Technology
Priority to CN202111590018.8A priority Critical patent/CN114220035A/zh
Publication of CN114220035A publication Critical patent/CN114220035A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于改进YOLO V4的快速害虫检测方法，包括：通过虫情测报灯采集虫害图像，建立虫害数据集；构建基于改进YOLO V4的快速害虫检测模型；将所述虫害数据集输入所述快速害虫检测模型进行训练；获取待检测的虫害图像，并进行预处理，将图像尺寸统一化；将预处理后的待检测的虫害图像输入训练后的快速害虫检测模型，快速害虫检测模型输出检测结果，所述检测结果即图像中每个虫害的类别和边界框位置。本发明通过多尺度预测结构能够提取到更丰富特征的特征、融合了多个尺度的特征来进行检测，可以在不加深网络深度的前提下提升检测精度；本发明使用了轻量级主干网络以及提出的轻量级特征层融合减少了模型参数，检测速度快。

Description

一种基于改进YOLO V4的快速害虫检测方法
技术领域
本发明涉及虫害图像识别技术领域，尤其是一种基于改进YOLO V4的快速害虫检测方法。
背景技术
随着人工智能的发展，计算机视觉领域的目标检测技术取得了突破性成果，其在不同领域的应用尤为广泛，比如人脸识别、智慧交通、智慧农业病虫害监测等领域。此前，在虫害监测领域中，由于虫害的识别和计数主要方式是采用人工方式，其成本高，劳动强度大。如今，随着目标检测技术的发展，可以在在虫害监测中节省人力物力、缩减人工成本，而且精准度高避免了由人工识别计数产生的误差，采用适合大规模虫害图像检测的技术是研究的关键。
目前，基于卷积神经网络的目标检测技术大致可以分为两个方向：基于密集采样回归的一阶段检测器，以及候选区域推荐框的两阶段检测器。其中，两阶段目标检测方法系列(包括R-CNN以及Faster R-CNN)具有检测速度慢但精度高的特点；与二阶段算法不同的是，以SSD、YOLO为代表的一阶段算法其特点是检测速度快，但是在准确度上不如二阶段。
随着YOL0系列的发展，第四代算法YOLOV4已经能保持识别速度而且达到较高的的识别精度，YOLO V4算法是在原有YOLO目标检测架构的基础上，采用了一些实用的优化策略，从数据处理、主干网络、网络训练、激活函数、损失函数等各个方面都有着不同程度的优化，该算法效果达到了实现速度与精度平衡的结果。YOLO V4算法在通用目标数据集上效果比较好，但是其对包含众多目标且害虫较小的图像来说识别精读还是有待提高。
发明内容
本发明的目的在于提供一种虫害检测准确率高、检测速度快的基于改进YOLO V4的快速害虫检测方法。
为实现上述目的，本发明采用了以下技术方案：一种基于改进YOLO V4的快速害虫检测方法，该方法包括下列顺序的步骤：
(1)通过虫情测报灯采集虫害图像，建立虫害数据集；
(2)构建基于改进YOLO V4的快速害虫检测模型；
(3)将所述虫害数据集输入所述快速害虫检测模型进行训练；
(4)获取待检测的虫害图像，并进行预处理，将图像尺寸统一化；
(5)将预处理后的待检测的虫害图像输入训练后的快速害虫检测模型，快速害虫检测模型输出检测结果，所述检测结果即图像中每个虫害的类别和边界框位置。
所述步骤(1)具体包括以下步骤：
(1a)将虫情测报灯获取的虫害图像进行预处理，进行图像尺寸统一化，数据清洗，筛选掉低质量图片；
(1b)用开源图像标注软件LabelImg进行标注，对虫害图像上的单只害虫标注类别和位置信息，这些信息储存在xml格式的文件中；每个虫害图像对应生成一个xml格式的标注文件，将虫害图像和对应的标注文件一起建立虫害数据集；
(1c)将虫害数据集划分为训练集、验证集和测试集，分别用于快速害虫检测模型的训练和测试。
所述步骤(2)包括构建轻量化网络Mobilenetv3结构的主干网络和特征金字塔网络；
其中，构建轻量化网络Mobilenetv3结构的主干网络具体是指：MobileNet在采用深度可分离卷积的基础上，利用具有线性瓶颈的反向残差模块来改进特征提取过程，首先将608×608×3图像送入使用了基础模块bneck的主干网络，基础模块bneck包括三个部分，分别是通道可分离卷积、SE通道注意力机制和残差连接；在主干网络中，采用基础模块bneck对输入特征图进行升维，其中的使用的深度可分离卷积conv2d是二维卷积，然后加入压缩-激发注意力模块SE，来平衡特征图各通道的权值；
在主干网络中使用的激活函数是hswish激活函数，公式(1)为swish激活函数：
swish(x)＝x·σ(κx) (1)
Figure BDA0003428773220000031
其中，x是输入,κ是用来调整激活函数斜率的超参数,σ是sigmod函数，定义见公式(2)，hswish使用ReLU6激活函数优化了swish激活函数中的σ(κx)，ReLU6激活函数的定义见公式(3)：
ReLU6(x)＝min(max(0,x),6) (3)
Figure BDA0003428773220000032
使用ReLU6激活函数将输入x限制在0到1之间，从而替换Sigmoid函数的函数；同时，hswish激活函数将基础模块bneck中的激活函数数量减少到16个；
所述特征金字塔网络的构建步骤如下：
(2a)设定将虫害图像输入主干网络，得到下采样尺寸为原图1/8、1/16、1/32倍的特征图，记为Ci,i∈(3,4,5)；
(2b)对特征金字塔网络构造轻量级的多层融合模块，将上述3个特征图Ci进行特征加权融合，得到多尺度特征金字塔预测结构；
(2c)将尺寸大小为76×76的C3特征图首先使用2×2平均池化操作进行下采样得到C3′；
(2d)将尺寸大小为38×38的C4特征图使用1×1卷积得到C4′；
(2e)将尺寸大小为19×19的C5特征图上采样到大小为38×38的C5′特征地图；
(2f)将大小为38×38的Ci′,i∈(3,4,5)三个特征图连接成一个特征图；
同理，按照此方法将19×19和38×38个特征图上采样生成76×76和19×19大小的的特征图，然后将它们组合成特征金字塔Pi,i∈(3,4,5)。
所述步骤(3)具体是指：
设定在随机梯度下降优化算法中，学习率设置为0.01，动量设置为0.937，权重衰减设置为0.0005，预热训练3个轮次，预热训练的动量设置为0.937，神经元失活率设置为0.5，基础学习率设置为0.001，训练300个轮次；
其回归框损失函数lossbox的数学表达式如下：
Figure BDA0003428773220000041
其中，λcoord表示边界框坐标损失预测时的超参数，设置为λcoord＝5，K表示图片被主干网络经过卷积后分成K×K大小，K∈(13,26,52)，每个网格产生M个候选框，每个候选框会经过网络最终得到相应的边界框，最终得到K×K×M个边界框；
Figure BDA0003428773220000042
表示特征图中第i个网格的的B个边界框中与真实标注框的IoU在所有的边界框与真实标注框的IoU中最大，IoU为交并比，此时
Figure BDA0003428773220000043
为1，否则为0；(xi,y)i代表边界框的中心点坐标，
Figure BDA0003428773220000044
代表真实标注框的中心点坐标，(wi,hi)代表边界框的宽和高，
Figure BDA0003428773220000045
代表真实标注框的宽和高；当
Figure BDA0003428773220000046
为1时，那么这个边界框所产生的边界框和真实标注框才去比较，计算得到中心坐标和宽高的误差：
Figure BDA0003428773220000047
其中，置信度误差lossconf属于交叉熵损失函数，λnoobj表示边界框不包含预测对象时的超参数，设置为λnoobj＝0.5，Ci为预测值，
Figure BDA0003428773220000048
是参数置信度值，
Figure BDA0003428773220000049
是当网络的该边界框负责预测某个对象时，
Figure BDA00034287732200000410
为1，否则为0；
Figure BDA00034287732200000411
其中，分类误差losscla属于交叉熵作为损失函数，当第j个锚框
Figure BDA00034287732200000412
为1时，那么这个锚框所产生的边界框才会去计算分类损失函数；pi(c)为预测为类别c的概率值，
Figure BDA0003428773220000051
是当网络的该边界框负责预测某个对象时，
Figure BDA0003428773220000052
为1，否则为0；
loss(object)＝lossbox+lossconf+losscla
其中，loss(object)是总loss值，lossbox是回归框损失，lossconf置信度损失，losscla是分类损失，整个的损失是上面回归框损失、置信度损失、分类损失三项损失之和。
所述待检测的虫害图像输入到训练后的快速害虫检测模型后，得到三种不同尺度的预测结果，分别是(19×19)，(38×38)，(76×76)，即得到[(76*76)+(38*38)+(19*19)]*3＝22743个预测候选框；训练后的快速害虫检测模型通过大小为(22743,31)的二维向量表示每个网格每个尺寸的预测候选框的预测结果，其中的31包括26类预定义待检测的害虫，和5个训练后的快速害虫检测模型中预测的边界框的四个参数(x,y,w,h)以及是否有目标的分数值；然后将预测值分数值低于阈值的滤掉再通过NMS算法对一个位置只保留一个最优预测框，最后训练后的快速害虫检测模型的输出值为(x,y,w,h,c)，即相应预测框的中心点坐标、宽、高及类别。
由上述技术方案可知，本发明的有益效果为：第一，通过多尺度预测结构能够提取到更丰富特征的特征、融合了多个尺度的特征来进行检测，可以在不加深网络深度的前提下提升检测精度；第二，本发明使用了轻量级主干网络以及提出的轻量级特征层融合减少了模型参数，检测速度快；第三，由于使用大规模害虫图像数据集训练，模型的鲁棒性强，适应于多角度、复杂背景害虫图像。
附图说明
图1为本发明的方法流程图；
图2为标准卷积和深度可分离卷积对比示意图；
图3为本发明的整体框架结构示意图；
图4为本发明的用于轻量级特征层融合结构示意图。
具体实施方式
如图1所示，一种基于改进YOLO V4的快速害虫检测方法，该方法包括下列顺序的步骤：
(1)通过虫情测报灯采集虫害图像，建立虫害数据集；
(2)构建基于改进YOLO V4的快速害虫检测模型；
(3)将所述虫害数据集输入所述快速害虫检测模型进行训练；
(4)获取待检测的虫害图像，并进行预处理，将图像尺寸统一化；
(5)将预处理后的待检测的虫害图像输入训练后的快速害虫检测模型，快速害虫检测模型输出检测结果，所述检测结果即图像中每个虫害的类别和边界框位置。
所述步骤(1)具体包括以下步骤：
(1a)将虫情测报灯获取的虫害图像进行预处理，进行图像尺寸统一化，数据清洗，筛选掉低质量图片；
(1b)用开源图像标注软件LabelImg进行标注，对虫害图像上的单只害虫标注类别和位置信息，这些信息储存在xml格式的文件中；每个虫害图像对应生成一个xml格式的标注文件，将虫害图像和对应的标注文件一起建立虫害数据集；
(1c)将虫害数据集划分为训练集、验证集和测试集，分别用于快速害虫检测模型的训练和测试。
所述步骤(2)包括构建轻量化网络Mobilenetv3结构的主干网络和特征金字塔网络；
其中，构建轻量化网络Mobilenetv3结构的主干网络具体是指：MobileNet在采用深度可分离卷积的基础上，利用具有线性瓶颈的反向残差模块来改进特征提取过程，首先将608×608×3图像送入使用了基础模块bneck的主干网络，基础模块bneck包括三个部分，分别是通道可分离卷积、SE通道注意力机制和残差连接；在主干网络中，采用基础模块bneck对输入特征图进行升维，其中的使用的深度可分离卷积conv2d是二维卷积，然后加入压缩-激发注意力模块SE，来平衡特征图各通道的权值；轻量化网络轻量化网络是轻量化网络，大大减小了网络参数量。带有轻量级融合模块的特征金字塔来弥补轻量化主干网络带来的检测精度下降的问题。
MobileNet在采用深度可分离卷积的基础上，利用具有线性瓶颈的基础模块bneck来改进特征提取过程。首先将608×608×3图像送入采用bneck结构的主干网络，网络结构如图3所示，采用bneck结构对输入特征图进行升维，其中的conv2d是深度可分离卷积，然后加入SE(Squeeze-and-Excite)注意模块来平衡特征图各通道的权值。注意力机制是模仿人的神经系统提出的概念，在某个特定的场景中，人对场景中每个物品的关注度都是不同的，拓展到神经网络中，更重要的特征也应该被赋予更高的权重，以提升主干网络对重要特征的关注度。SE结构通过训练特征图每个通道的权重来实现注意力机制，对提取特征贡献较大的通道将具有更高的权重。
Mobilenet网络的核心是用深度可分离卷积代替了标准卷积，如图2所示，输入为Fh×w×3的特征图，经过3×3的卷积核卷积后将输出Fh×w×n特征图。标准卷积的过程为n个3×3的卷积核与输入特征图每个通道进行卷积，最后得到通道数为n的新特征图；而深度可分离卷积先用3个3×3的卷积核与输入特征图的各个通道分别进行卷积，得到一个输出通道等于输入通道的特征图，再用n个1×1的卷积核对此特征图进行卷积得到一个n通道的新特征图。使用可分离卷积可以使参数量降低而且使卷积时乘法运算次数降低。
在主干网络中使用的激活函数是hswish激活函数，公式(1)为swish激活函数：
swish(x)＝x·σ(κx) (1)
Figure BDA0003428773220000071
其中，x是输入,κ是用来调整激活函数斜率的超参数,σ是sigmod函数，定义见公式(2)，hswish使用ReLU6激活函数优化了swish激活函数中的σ(κx)，ReLU6激活函数的定义见公式(3)：
ReLU6(x)＝min(max(0,x),6)(3)
Figure BDA0003428773220000081
使用ReLU6激活函数将输入x限制在0到1之间，从而替换Sigmoid函数的函数；同时，hswish激活函数将基础模块bneck中的激活函数数量减少到16个；但保持了swish使用32个激活函数的准确性，降低了网络的复杂性。
由于害虫具有不同尺度的目标，单尺度特征层无法适应多角度、多尺度变化的图像。因此，需要特征金字塔网络结构解决这个问题。特征金字塔网络结构浅层具有较大的分辨率，包含更清晰的位置信息，深层特征包含丰富的语义信息，不同尺度的特征层包含不同的特征信息，对不同大小的对象具有更强的适应性。所述特征金字塔网络的构建步骤如下：
(2a)设定将虫害图像输入主干网络，得到下采样尺寸为原图1/8、1/16、1/32倍的特征图，记为Ci,i∈(3,4,5)；
(2b)对特征金字塔网络构造轻量级的多层融合模块，将上述3个特征图Ci进行特征加权融合，得到多尺度特征金字塔预测结构；
(2c)将尺寸大小为76×76的C3特征图首先使用2×2平均池化操作进行下采样得到C3′；
(2d)将尺寸大小为38×38的C4特征图使用1×1卷积得到C4′；
(2e)将尺寸大小为19×19的C5特征图上采样到大小为38×38的C5′特征地图；
(2f)将大小为38×38的Ci′,i∈(3,4,5)三个特征图连接成一个特征图；
同理，按照此方法将19×19和38×38个特征图上采样生成76×76和19×19大小的的特征图，然后将它们组合成特征金字塔Pi,i∈(3,4,5)。
对上述收集的虫害图像训练集训练虫害检测模型：利用虫害数据集通过随机梯度下降算法对虫害图像检测模型进行训练。在实际应用中，可以使用的操作系统是Ubuntu18.04版本，Pytorch深度学习框架，CUDA11.0版本，处理器为
Figure BDA0003428773220000091
CoreTM i7-10700F CPU@2.90GHz，显卡为NVIDIA RTX 2080Ti(24GB内存)、NVIDIA GeForce驱动程序450.102版本的设备环境训练模型。所述步骤(3)具体是指：
设定在随机梯度下降优化算法中，学习率设置为0.01，动量设置为0.937，权重衰减设置为0.0005，预热训练3个轮次，预热训练的动量设置为0.937，神经元失活率设置为0.5，基础学习率设置为0.001，训练300个轮次；
其回归框损失函数lossbox的数学表达式如下：
Figure BDA0003428773220000092
其中，λcoord表示边界框坐标损失预测时的超参数，设置为λcoord＝5，K表示图片被主干网络经过卷积后分成K×K大小，K∈(13,26,52)，每个网格产生M个候选框，每个候选框会经过网络最终得到相应的边界框，最终得到K×K×M个边界框；
Figure BDA0003428773220000093
表示特征图中第i个网格的的B个边界框中与真实标注框的IoU在所有的边界框与真实标注框的IoU中最大，IoU为交并比，此时
Figure BDA0003428773220000094
为1，否则为0；(xi,y)i代表边界框的中心点坐标，
Figure BDA0003428773220000095
代表真实标注框的中心点坐标，(wi,hi)代表边界框的宽和高，
Figure BDA0003428773220000096
代表真实标注框的宽和高；当
Figure BDA0003428773220000097
为1时，那么这个边界框所产生的边界框和真实标注框才去比较，计算得到中心坐标和宽高的误差：
Figure BDA0003428773220000098
其中，置信度误差lossconf属于交叉熵损失函数，λnoobj表示边界框不包含预测对象时的超参数，设置为λnoobj＝0.5，Ci为预测值，
Figure BDA0003428773220000099
是参数置信度值，
Figure BDA00034287732200000910
是当网络的该边界框负责预测某个对象时，
Figure BDA0003428773220000101
为1，否则为0；
Figure BDA0003428773220000102
其中，分类误差losscla属于交叉熵作为损失函数，当第j个锚框
Figure BDA0003428773220000103
为1时，那么这个锚框所产生的边界框才会去计算分类损失函数；pi(c)为预测为类别c的概率值，
Figure BDA0003428773220000104
是当网络的该边界框负责预测某个对象时，
Figure BDA0003428773220000105
为1，否则为0；
loss(object)＝lossbox+lossconf+losscla
其中，loss(object)是总loss值，lossbox是回归框损失，lossconf置信度损失，losscla是分类损失，整个的损失是上面回归框损失、置信度损失、分类损失三项损失之和。
所述待检测的虫害图像输入到训练后的快速害虫检测模型后，得到三种不同尺度的预测结果，分别是分别是(19×19)，(38×38)，(76×76)，即得到[(76*76)+(38*38)+(19*19)]*3＝22743个预测候选框；训练后的快速害虫检测模型通过大小为(22743,31)的二维向量表示每个网格每个尺寸的预测候选框的预测结果，其中的31包括26类预定义待检测的害虫，和5个训练后的快速害虫检测模型中预测的边界框的四个参数(x,y,w,h)以及是否有目标的分数值；然后将预测值分数值低于阈值的滤掉再通过NMS算法对一个位置只保留一个最优预测框，最后训练后的快速害虫检测模型的输出值为(x,y,w,h,c)，即相应预测框的中心点坐标、宽、高及类别。
图4为采用本发明对虫害图像进行检测的检测结果效果图。由图4可以看出，尽管虫害图像中背景复杂，但是本发明所提出的检测方法仍然准确检测出虫害的类别和个数。如表1所示，在保持训练参数一致的情况下，比较了Faster R-CNN、SSD和YOLOv3的模型参数数量、FPS值和平均精度值。与Faster RCNN相比，YOLO-pest的平均精度提高了5个点，而且在推理速度方面，本发明方法比Faster R-CNN快了40FPS，满足了实时检测的要求。表2显示了每种害虫类别的虫害名以及数据集对应的实例数。对于每一类害虫也有不同方法的精度，可以看到本发明的方法几乎超过了其他方法对所有害虫的精度。
表1.本发明与不同检测方法的检测结果对比
Figure BDA0003428773220000111
表2.本发明与不同检测方法对每个类别的害虫检测精度对比表
Figure BDA0003428773220000112
综上所述，本发明通过多尺度预测结构能够提取到更丰富特征的特征、融合了多个尺度的特征来进行检测，可以在不加深网络深度的前提下提升检测精度；本发明使用了轻量级主干网络以及提出的轻量级特征层融合减少了模型参数，检测速度快；由于使用大规模害虫图像数据集训练，模型的鲁棒性强，适应于多角度、复杂背景害虫图像。

Claims (5)

1.一种基于改进YOLO V4的快速害虫检测方法，其特征在于：该方法包括下列顺序的步骤：
(1)通过虫情测报灯采集虫害图像，建立虫害数据集；
(2)构建基于改进YOLO V4的快速害虫检测模型；
(3)将所述虫害数据集输入所述快速害虫检测模型进行训练；
(4)获取待检测的虫害图像，并进行预处理，将图像尺寸统一化；
(5)将预处理后的待检测的虫害图像输入训练后的快速害虫检测模型，快速害虫检测模型输出检测结果，所述检测结果即图像中每个虫害的类别和边界框位置。
2.根据权利要求1所述的基于改进YOLO V4的快速害虫检测方法，其特征在于：所述步骤(1)具体包括以下步骤：
(1a)将虫情测报灯获取的虫害图像进行预处理，进行图像尺寸统一化，数据清洗，筛选掉低质量图片；
(1b)用开源图像标注软件LabelImg进行标注，对虫害图像上的单只害虫标注类别和位置信息，这些信息储存在xml格式的文件中；每个虫害图像对应生成一个xml格式的标注文件，将虫害图像和对应的标注文件一起建立虫害数据集；
(1c)将虫害数据集划分为训练集、验证集和测试集，分别用于快速害虫检测模型的训练和测试。
3.根据权利要求1所述的基于改进YOLO V4的快速害虫检测方法，其特征在于：所述步骤(2)包括构建轻量化网络Mobilenetv3结构的主干网络和特征金字塔网络；
其中，构建轻量化网络Mobilenetv3结构的主干网络具体是指：MobileNet在采用深度可分离卷积的基础上，利用具有线性瓶颈的反向残差模块来改进特征提取过程，首先将608×608×3图像送入使用基础模块bneck的主干网络，基础模块bneck包括三个部分，分别是通道可分离卷积、SE通道注意力机制和残差连接；在主干网络中，采用基础模块bneck对输入特征图进行升维，其中的使用的深度可分离卷积conv2d是二维卷积，然后加入压缩-激发注意力模块SE，来平衡特征图各通道的权值；
在主干网络中使用的激活函数是hswish激活函数，公式(1)为swish激活函数：
swish(x)＝x·σ(κx) (1)
Figure FDA0003428773210000021
其中，x是输入,κ是用来调整激活函数斜率的超参数,σ是sigmod函数，定义见公式(2)，hswish使用ReLU6激活函数优化了swish激活函数中的σ(κx)，ReLU6激活函数的定义见公式(3)：
ReLU6(x)＝min(max(0,x),6)(3)
Figure FDA0003428773210000022
使用ReLU6激活函数将输入x限制在0到1之间，从而替换Sigmoid函数的函数；同时，hswish激活函数将基础模块bneck中的激活函数数量减少到16个；
所述特征金字塔网络的构建步骤如下：
(2a)设定将虫害图像输入主干网络，得到下采样尺寸为原图1/8、1/16、1/32倍的特征图，记为Ci,i∈(3,4,5)；
(2b)对特征金字塔网络构造轻量级的多层融合模块，将上述3个特征图Ci进行特征加权融合，得到多尺度特征金字塔预测结构；
(2c)将尺寸大小为76×76的C3特征图首先使用2×2平均池化操作进行下采样得到C3′；
(2d)将尺寸大小为38×38的C4特征图使用1×1卷积得到C4′；
(2e)将尺寸大小为19×19的C5特征图上采样到大小为38×38的C5′特征地图；
(2f)将大小为38×38的Ci′,i∈(3,4,5)三个特征图连接成一个特征图；
同理，按照此方法将19×19和38×38个特征图上采样生成76×76和19×19大小的的特征图，然后将它们组合成特征金字塔Pi,i∈(3,4,5)。
4.根据权利要求1所述的基于改进YOLO V4的快速害虫检测方法，其特征在于：所述步骤(3)具体是指：
设定在随机梯度下降优化算法中，学习率设置为0.01，动量设置为0.937，权重衰减设置为0.0005，预热训练3个轮次，预热训练的动量设置为0.937，神经元失活率设置为0.5，基础学习率设置为0.001，训练300个轮次；
其回归框损失函数lossbox的数学表达式如下：
Figure FDA0003428773210000031
其中，λcoord表示边界框坐标损失预测时的超参数，设置为λcoord＝5，K表示图片被主干网络经过卷积后分成K×K大小，K∈(19,38,76)，每个网格产生M个候选框，每个候选框会经过网络最终得到相应的边界框，最终得到K×K×M个边界框；
Figure FDA0003428773210000032
表示特征图中第i个网格的的B个边界框中与真实标注框的IoU在所有的边界框与真实标注框的IoU中最大，IoU为交并比，此时
Figure FDA0003428773210000033
为1，否则为0；(xi,y)i代表边界框的中心点坐标，
Figure FDA0003428773210000034
代表真实标注框的中心点坐标，(wi,hi)代表边界框的宽和高，
Figure FDA0003428773210000035
代表真实标注框的宽和高；当
Figure FDA0003428773210000036
为1时，那么这个边界框所产生的边界框和真实标注框才去比较，计算得到中心坐标和宽高的误差：
Figure FDA0003428773210000037
其中，置信度误差lossconf属于交叉熵损失函数，λnoobj表示边界框不包含预测对象时的超参数，设置为λnoobj＝0.5，Ci为预测值，
Figure FDA0003428773210000038
是参数置信度值，
Figure FDA0003428773210000039
是当网络的该边界框负责预测某个对象时，
Figure FDA0003428773210000041
为1，否则为0；
Figure FDA0003428773210000042
其中，分类误差losscla属于交叉熵作为损失函数，当第j个锚框
Figure FDA0003428773210000043
为1时，那么这个锚框所产生的边界框才会去计算分类损失函数；pi(c)为预测为类别c的概率值，
Figure FDA0003428773210000044
是当网络的该边界框负责预测某个对象时，
Figure FDA0003428773210000045
为1，否则为0；
loss(object)＝lossbox+lossconf+losscla
其中，loss(object)是总loss值，lossbox是回归框损失，lossconf置信度损失，losscla是分类损失，整个的损失是上面回归框损失、置信度损失、分类损失三项损失之和。
5.根据权利要求1所述的基于改进YOLO V4的快速害虫检测方法，其特征在于：所述待检测的虫害图像输入到训练后的快速害虫检测模型后，得到三种不同尺度的预测结果，分别是(19×19)，(38×38)，(76×76)，即得到[(76*76)+(38*38)+(19*19)]*3＝22743个预测候选框；训练后的快速害虫检测模型通过大小为(22743,31)的二维向量表示每个网格每个尺寸的预测候选框的预测结果，其中的31包括26类预定义待检测的害虫，和5个训练后的快速害虫检测模型中预测的边界框的四个参数(x,y,w,h)以及是否有目标的分数值；然后将预测值分数值低于阈值的滤掉再通过NMS算法对一个位置只保留一个最优预测框，最后训练后的快速害虫检测模型的输出值为(x,y,w,h,c)，即相应预测框的中心点坐标、宽、高及类别。
CN202111590018.8A 2021-12-23 2021-12-23 一种基于改进yolo v4的快速害虫检测方法 Pending CN114220035A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111590018.8A CN114220035A (zh) 2021-12-23 2021-12-23 一种基于改进yolo v4的快速害虫检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111590018.8A CN114220035A (zh) 2021-12-23 2021-12-23 一种基于改进yolo v4的快速害虫检测方法

Publications (1)

Publication Number Publication Date
CN114220035A true CN114220035A (zh) 2022-03-22

Family

ID=80705409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111590018.8A Pending CN114220035A (zh) 2021-12-23 2021-12-23 一种基于改进yolo v4的快速害虫检测方法

Country Status (1)

Country Link
CN (1) CN114220035A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863260A (zh) * 2022-04-11 2022-08-05 燕山大学 基于深度学习的Fast-YOLO实时水母检测方法
CN114972208A (zh) * 2022-05-05 2022-08-30 扬州大学 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN114998220A (zh) * 2022-05-12 2022-09-02 湖南中医药大学 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN115024298A (zh) * 2022-07-18 2022-09-09 华南农业大学 一种基于轻量级神经网络的计数杀虫灯及计数方法
CN115100517A (zh) * 2022-06-08 2022-09-23 北京市农林科学院信息技术研究中心 田间昆虫识别方法及装置
CN115100148A (zh) * 2022-06-23 2022-09-23 安徽省农业科学院农业经济与信息研究所 一种基于轻量型卷积神经网络的农作物害虫检测方法
CN115115887A (zh) * 2022-07-07 2022-09-27 中国科学院合肥物质科学研究院 基于TSD-Faster RCNN的农作物害虫检测方法及其网络
CN115546186A (zh) * 2022-10-28 2022-12-30 北京市农林科学院 基于YOLO v4的农业病虫害检测方法及装置
CN115578624A (zh) * 2022-10-28 2023-01-06 北京市农林科学院 农业病虫害模型构建方法、检测方法及装置
CN116012718A (zh) * 2023-02-15 2023-04-25 黑龙江科技大学 田间害虫检测方法、系统、电子设备及计算机存储介质
CN116055174A (zh) * 2023-01-10 2023-05-02 吉林大学 一种基于改进MobileNetV2的车联网入侵检测方法
CN116310785A (zh) * 2022-12-23 2023-06-23 兰州交通大学 基于YOLO v4的无人机影像路面病害检测方法
CN116665090A (zh) * 2023-05-15 2023-08-29 南通大学 一种基于轻量级网络的电力梯子检测方法
CN117218329A (zh) * 2023-11-09 2023-12-12 四川泓宝润业工程技术有限公司 一种井口阀门检测方法、装置、存储介质及电子设备
CN117649610A (zh) * 2024-01-30 2024-03-05 江西农业大学 一种基于YOLOv5的害虫检测方法及系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863260A (zh) * 2022-04-11 2022-08-05 燕山大学 基于深度学习的Fast-YOLO实时水母检测方法
CN114972208B (zh) * 2022-05-05 2024-04-09 扬州大学 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN114972208A (zh) * 2022-05-05 2022-08-30 扬州大学 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN114998220A (zh) * 2022-05-12 2022-09-02 湖南中医药大学 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN114998220B (zh) * 2022-05-12 2023-06-13 湖南中医药大学 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN115100517A (zh) * 2022-06-08 2022-09-23 北京市农林科学院信息技术研究中心 田间昆虫识别方法及装置
CN115100517B (zh) * 2022-06-08 2023-10-24 北京市农林科学院信息技术研究中心 田间昆虫识别方法及装置
CN115100148A (zh) * 2022-06-23 2022-09-23 安徽省农业科学院农业经济与信息研究所 一种基于轻量型卷积神经网络的农作物害虫检测方法
CN115115887A (zh) * 2022-07-07 2022-09-27 中国科学院合肥物质科学研究院 基于TSD-Faster RCNN的农作物害虫检测方法及其网络
CN115115887B (zh) * 2022-07-07 2023-09-12 中国科学院合肥物质科学研究院 基于TSD-Faster RCNN的农作物害虫检测方法及其网络
CN115024298A (zh) * 2022-07-18 2022-09-09 华南农业大学 一种基于轻量级神经网络的计数杀虫灯及计数方法
CN115024298B (zh) * 2022-07-18 2023-09-26 华南农业大学 一种基于轻量级神经网络的计数杀虫灯及计数方法
CN115578624A (zh) * 2022-10-28 2023-01-06 北京市农林科学院 农业病虫害模型构建方法、检测方法及装置
CN115546186A (zh) * 2022-10-28 2022-12-30 北京市农林科学院 基于YOLO v4的农业病虫害检测方法及装置
CN116310785A (zh) * 2022-12-23 2023-06-23 兰州交通大学 基于YOLO v4的无人机影像路面病害检测方法
CN116310785B (zh) * 2022-12-23 2023-11-24 兰州交通大学 基于YOLO v4的无人机影像路面病害检测方法
CN116055174A (zh) * 2023-01-10 2023-05-02 吉林大学 一种基于改进MobileNetV2的车联网入侵检测方法
CN116012718B (zh) * 2023-02-15 2023-10-27 黑龙江科技大学 田间害虫检测方法、系统、电子设备及计算机存储介质
CN116012718A (zh) * 2023-02-15 2023-04-25 黑龙江科技大学 田间害虫检测方法、系统、电子设备及计算机存储介质
CN116665090A (zh) * 2023-05-15 2023-08-29 南通大学 一种基于轻量级网络的电力梯子检测方法
CN117218329A (zh) * 2023-11-09 2023-12-12 四川泓宝润业工程技术有限公司 一种井口阀门检测方法、装置、存储介质及电子设备
CN117218329B (zh) * 2023-11-09 2024-01-26 四川泓宝润业工程技术有限公司 一种井口阀门检测方法、装置、存储介质及电子设备
CN117649610A (zh) * 2024-01-30 2024-03-05 江西农业大学 一种基于YOLOv5的害虫检测方法及系统
CN117649610B (zh) * 2024-01-30 2024-05-28 江西农业大学 一种基于YOLOv5的害虫检测方法及系统

Similar Documents

Publication Publication Date Title
CN114220035A (zh) 一种基于改进yolo v4的快速害虫检测方法
CN108564097B (zh) 一种基于深度卷积神经网络的多尺度目标检测方法
CN109886066B (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN109948475B (zh) 一种基于骨架特征和深度学习的人体动作识别方法
Dewi et al. Weight analysis for various prohibitory sign detection and recognition using deep learning
CN110210551A (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
WO2021218786A1 (zh) 一种数据处理系统、物体检测方法及其装置
KR102224253B1 (ko) 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN112906718B (zh) 一种基于卷积神经网络的多目标检测方法
CN113158862B (zh) 一种基于多任务的轻量级实时人脸检测方法
Juneja et al. Real time object detection using CNN based single shot detector model
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
CN112949647B (zh) 三维场景描述方法、装置、电子设备和存储介质
CN110222718B (zh) 图像处理的方法及装置
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN114049381A (zh) 一种融合多层语义信息的孪生交叉目标跟踪方法
KR20200010672A (ko) 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템
CN112668492A (zh) 一种自监督学习与骨骼信息的行为识别方法
CN115294563A (zh) 一种基于Transformer的增强了局部语义学习能力的3D点云分析方法及装置
CN114419732A (zh) 基于注意力机制优化的HRNet人体姿态识别方法
CN115375781A (zh) 一种数据处理方法及其装置
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
CN116758621B (zh) 基于自注意力机制的遮挡人脸面部表情深度卷积识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination