CN116012718A - 田间害虫检测方法、系统、电子设备及计算机存储介质 - Google Patents
田间害虫检测方法、系统、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN116012718A CN116012718A CN202310117533.7A CN202310117533A CN116012718A CN 116012718 A CN116012718 A CN 116012718A CN 202310117533 A CN202310117533 A CN 202310117533A CN 116012718 A CN116012718 A CN 116012718A
- Authority
- CN
- China
- Prior art keywords
- detection
- pest
- network
- segmentation
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 197
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims abstract description 215
- 230000011218 segmentation Effects 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 28
- 238000013527 convolutional neural network Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 11
- 239000003086 colorant Substances 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 125000003275 alpha amino acid group Chemical group 0.000 description 5
- 150000001875 compounds Chemical class 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000238631 Hexapoda Species 0.000 description 3
- 241000985245 Spodoptera litura Species 0.000 description 3
- 235000013339 cereals Nutrition 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 241000241125 Gryllotalpa gryllotalpa Species 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241001414720 Cicadellidae Species 0.000 description 1
- 241000237858 Gastropoda Species 0.000 description 1
- 241000578422 Graphosoma lineatum Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 241000500437 Plutella xylostella Species 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 241000255588 Tephritidae Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种田间害虫检测方法、系统、电子设备及计算机存储介质，涉及害虫检测领域，方法包括获取田间害虫图像；根据所述田间害虫图像利用联合训练模型的害虫分割网络进行分割，得到分割特征；根据所述田间害虫图像利用所述联合训练模型的害虫检测网络的主干特征提取网络进行检测，得到检测特征；根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块和所述害虫检测网络的特征金字塔网络进行检测，得到害虫检测结果；所述害虫检测结果包括热力图、尺寸、偏移量和分割类别。本发明能在复杂环境下实现田间害虫的检测。
Description
技术领域
本发明涉及害虫检测领域，特别是涉及一种田间害虫检测方法、系统、电子设备及计算机存储介质。
背景技术
田间害虫以其较高的发生频率、广泛的发生面积和严重的危害性成为当前影响和制约粮食安全的主要自然因素。2022年中国小麦、水稻、玉米、马铃薯等粮食作物虫害呈重发态势，重大虫害发生面积20.1亿亩次，对70％以上的粮食作物产区构成威胁，形成的有效防控覆盖率却仅占46％。若能对田间害虫进行及时准确的检测，将有效避免虫灾爆发，保障农业生产，避免农户损失，因此亟需新的技术手段对传统害虫防治措施进行改进升级。
近些年来，深度学习技术、计算机视觉技术、卷积神经网络技术和大数据技术等新型人工智能技术蓬勃发展，为图像级别的特征识别和处理工作赋予了更多的可能性。相比于传统机器视觉技术，基于深度学习的计算机视觉技术在图像处理、特征提取、特征抽象和特征分类等诸多方面更加高效和准确，逐渐受到越来越多国内外专家学者的青睐。2019年，有人提出一种基于卷积神经网络的害虫检测方法，通过将通道注意力机制融合至CNN中，实现特定任务图像采集设备数据集下的多类害虫检测，平均精度达到75.46％。2020年，有人针对两阶段检测网络的区域建议框网络进行改进，提出了基于特征融合的无锚框区域建议网络，结合Fast R-CNN实现了对测报灯下24种害虫的识别，平均检测准确率达到56.4％。以上算法虽然可以对进行害虫检测，但局限于实验室层次的研究，模型的泛化能力与鲁棒性较差，检测准确率与速度有待提升，且主要使用在测报灯等背景简单的场景下，无法应用于害虫与背景颜色相近、重叠或有遮挡等复杂环境下，限制了相关应用部署落地。还有人基于CenterNet提出一种全新的端到端检测方法，能够同时提高检测精度和效率，虽然为复杂环境下的害虫实时检测提供了新思路，但面对多个检测目标中心点重合的特定情况时，仍会出现检测误差影响检测效果，造成难以实现多目标密集害虫的定位识别与数量检测。
综上所述，现有基于深度学习的害虫检测方法难以应用在害虫与背景颜色相近、重叠或有遮挡等复杂环境下，在小目标、多目标检测场景中也存在检测精度低、速度慢等劣势，基于联合训练的复杂环境田间害虫检测方法有望改善和解决当前害虫检测方法中存在的一系列问题，以实现更为及时有效的害虫防治工作。
发明内容
本发明的目的是提供一种田间害虫检测方法、系统、电子设备及计算机存储介质，以在复杂环境下实现田间害虫的检测。
为实现上述目的，本发明提供了如下方案：
一种田间害虫检测方法，包括：
获取田间害虫图像；
根据所述田间害虫图像利用联合训练模型的害虫分割网络进行分割，得到分割特征；
根据所述田间害虫图像利用所述联合训练模型的害虫检测网络的主干特征提取网络进行检测，得到检测特征；
根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块和所述害虫检测网络的特征金字塔网络进行检测，得到害虫检测结果；所述害虫检测结果包括热力图、尺寸、偏移量和分割类别。
可选地，根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块和所述害虫检测网络的特征金字塔网络进行检测，得到害虫检测结果，具体包括：
根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块与所述特征金字塔网络进行多尺度特征融合，得到多尺度融合特征；
对所述多尺度融合特征进行检测输出，得到害虫检测结果；所述害虫检测网络的检测头用于完成检测输出。
可选地，所述主干特征提取网络为Resnet18。
可选地，所述联合训练模型的损失函数的表达式为：
Ldet＝Lk+Lsize+Loff+Lseg
其中，Ldet为损失函数，Lk为中心点损失函数，Lsize为目标长短轴损失函数，Loff为中心点偏移量损失函数，Lseg为分割类别损失函数。
本发明还提供一种田间害虫检测系统，包括：
获取模块，用于获取田间害虫图像；
分割模块，用于根据所述田间害虫图像利用联合训练模型的害虫分割网络进行分割，得到分割特征；
特征提取模块，用于根据所述田间害虫图像利用所述联合训练模型的害虫检测网络的主干特征提取网络进行检测，得到检测特征；
检测模块，用于根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块和所述害虫检测网络的特征金字塔网络进行检测，得到害虫检测结果；所述害虫检测结果包括热力图、尺寸、偏移量和分割类别。
可选地，所述检测模块，具体包括：
特征融合单元，用于根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块与所述特征金字塔网络进行多尺度特征融合，得到多尺度融合特征；
检测输出单元，用于对所述多尺度融合特征进行检测输出，得到害虫检测结果；所述害虫检测网络的检测头用于完成检测输出。
可选地，所述主干特征提取网络为Resnet18。
可选地，所述联合训练模型的损失函数的表达式为：
Ldet＝Lk+Lsize+Loff+Lseg
其中，Ldet为损失函数，Lk为中心点损失函数，Lsize为目标长短轴损失函数，Loff为中心点偏移量损失函数，Lseg为分割类别损失函数。
本发明还提供一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任意一项所述的方法。
本发明还提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述任意一项所述的方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明获取田间害虫图像；根据所述田间害虫图像利用联合训练模型的害虫分割网络进行分割，得到分割特征；根据所述田间害虫图像利用所述联合训练模型的害虫检测网络的主干特征提取网络进行检测，得到检测特征；根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块和所述害虫检测网络的特征金字塔网络进行检测，得到害虫检测结果；所述害虫检测结果包括热力图、尺寸、偏移量和分割类别。本发明利用联合细化模块将检测特征和分割特征融合，实现害虫检测网络和害虫分割网络的通信，丰富训练过程中的多层次特征，提高目标边界的清晰度。利用害虫分割网络提高目标中心点的预测效率，降低颜色与背景相近、重叠和有遮挡的目标对检测的干扰，从而完成复杂环境下的田间害虫检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的田间害虫检测方法示意图；
图2为PEST10数据集田间害虫种类示例图；
图3为本发明提供的CenterU-Net特征提取网络结构图；
图4为联合细化模块结构示意图；
图5为检测分支结构图；
图6为十类田间害虫检测平均精度图；
图7为三类情况下各方法检测结果比较图；
图8为本发明提供的田间害虫检测方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种田间害虫检测方法、系统、电子设备及计算机存储介质，以在复杂环境下实现田间害虫的检测。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图8所示，本发明提供的一种田间害虫检测方法，包括：
步骤101：获取田间害虫图像。
步骤102：根据所述田间害虫图像利用联合训练模型的害虫分割网络进行分割，得到分割特征。
步骤103：根据所述田间害虫图像利用所述联合训练模型的害虫检测网络的主干特征提取网络进行检测，得到检测特征。所述主干特征提取网络为Resnet18。
步骤104：根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块和所述害虫检测网络的特征金字塔网络进行检测，得到害虫检测结果；所述害虫检测结果包括热力图、尺寸、偏移量和分割类别。
本发明中的害虫检测网络为CenterU-Net害虫检测网络，害虫分割网络为CenterU-Net害虫分割网络，联合训练模型为CenterU-Net联合训练模型。
步骤104，具体包括：
根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块与所述特征金字塔网络进行多尺度特征融合，得到多尺度融合特征。
对所述多尺度融合特征进行检测输出，得到害虫检测结果；所述害虫检测网络的检测头用于完成检测输出。
如图1所示，本发明还提供田间害虫检测方法在实际应用中的具体工作流程，通过将田间害虫图像划分为训练集、验证集和测试集，在训练阶段利用训练集进行训练，利用验证集进行验证，在推理阶段，利用测试集进行检测，步骤如下：
步骤1：制作田间害虫数据集并进行预处理
IP102是Wu在2019年人工智能领域顶会CVPR上发表的农业害虫数据集，具有害虫种类多且数量大、等级分类明晰、类间差异小、类内差异大等特点，为基于深度学习的农业害虫检测工作提供了必要的数据基础。相较于多在实验室受控环境中收集而成的数据集，IP102数据集中的图片均为野外实地拍摄，遍布世界各地，符合真实害虫分布的特征，能更好满足复杂环境下害虫检测的要求。
本发明从IP102中选取10类常见田间害虫、共计7428幅图片制作了PEST10数据集，数据集图像包含复杂的背景、变化的光照条件、重叠及被遮挡等影响因素，种类示例如图2所示。图2中的(a)为苹果小卷蛾，图2中的(b)为蝼蛄，图2中的(c)为叶蝉，图2中的(d)为蝗虫，图2中的(e)为柑橘实蝇，图2中的(f)为菜粉蝶，图2中的(g)为蜗牛，图2中的(h)为斜纹夜蛾，图2中的(i)为椿象，图2中的(j)为象鼻虫。
其中，检测标注按照Pascal VOC格式制作，害虫位置坐标和类别保存为XML文件。分割标注保存为Json数据格式，包含每张图片的像素点坐标和类别。每幅图片标记的边界框数量即为目标害虫目标的数量，每张图像可能包含多个目标。为最大限度地增加训练样本数量，通过旋转、镜像和改变明暗三种离线扩增方式对训练图像进行预处理，并结合Pytorch框架的在线扩增方式，使得PEST10数据集的训练样本数量扩充近2倍。
步骤2：基于联合细化的害虫图像特征提取
目标检测与目标分割都是对目标特征信息进行提取，通过在图像中获取具有代表性的特征，进而表示整个图像的信息。联合训练模型CenterU-Net利用Resnet18结合特征金字塔进行特征提取，Resnet18由用于改变通道数的1×1卷积、提取特征并增加通道数的3×3卷积和残差模块构成，残差模块可以防止网络过深引起的梯度消失或梯度爆炸，使深层网络易于训练。为了降低上采样阶段的特征损失，通过同维拼接方法，将特征提取阶段的特征与对应上采样阶段同维度的特征层逐元素相加补充反卷积特征损失。
CenterU-Net特征提取网络结构如图3所示，首先将害虫图像尺寸缩放至128×256像素输入网络，进行1次步长为2的7×7卷积和1次最大值池化，然后进行多次3×3卷积、残差操作，分别可以获得32×64像素、16×32像素、8×16像素、4×8像素4个尺度的特征，再经过JRM得到边缘特征细化后的特征图，在对layer5特征图进行卷积、上采样后，与layer4特征图进行逐元素相加得到8×16特征图；在对8×16特征图进行卷积、上采样后，与layer3特征图进行逐元素相加得到16×32特征图；在对16×32特征图进行卷积、上采样后，与layer2特征图进行逐元素相加得到32×64特征图；最后对32×64特征图进行卷积、上采样操作后，将获得最终的64×128像素特征图在预测分支中分别进行目标点的分割、偏移量、热力图和长短轴回归预测，微调模型。
本发明将目标分割任务和目标检测任务进行联合训练，设计联合细化模块用于目标检测分支和目标分割分支之间通信，以丰富训练过程中的多层次特征，并提升复杂环境与目标边界的清晰度。通过Resnet18主干特征提取网络，CenterU-Net害虫图像分割网络获得了四种尺度的边缘特征。将目标检测特征送入联合细化模块以进行逐步精细化，丰富了目标检测边缘特征信息。
联合细化模块具体结构如图4所示，D1-D4代表检测特征提取网络的4种尺度的特征，E1-E4代表分割特征提取网络的4种尺度的特征。由于低层特征会包含环境的细节，而高层特征则着重描述区域信息，在特征学习过程中较低层特征中的干扰元素更多，但随着网络的深入，干扰因素将逐渐被抑制，因此在联合细化模块JRM中逐级递减分割特征的低层信息。JRM的第k级输出Dk'的具体计算如下所示：
式(1)中，UC代表采用双线性上采样和一个1×1卷积改变通道数的操作，以保证特征图的通道数相同，
符号代表按通道数同维拼接，
符号代表逐元素相加，Conv表示2个3×3卷积层，输出通道数为128。
由于目标检测特征与目标分割特征的并集等于目标检测信息，分割信息与检测信息按通道数同维拼接再与原检测信息相加这一操作可以帮助分割检测特征完整地补充到目标检测特征中。
步骤3：基于CenterU-Net联合训练的害虫目标检测
如图5所示，CenterU-Net联合训练模型的检测分支由中心点预测、长短轴预测、中心点偏移量预测和分割预测构成，分别输出对应目标点的热力图、尺寸、偏移量和分割类别。将这4个输出结合后确定检测目标的中心点，以此回归确定检测目标的尺寸和偏移量，最终在图像中绘制出目标边界框，有效检测出害虫目标。
将输入的田间害虫图像I定义为
I∈RW×H×3 (2)
式(2)中，R表示图像缩放比例，W、H分别表示图像的宽和高。
则CenterU-Net联合训练模型输出目标点的热力图、尺寸、偏移量和分割类别分别表示为
式(3)中，Y表示中心点对应目标。
式(4)中，
表示针对中心点的预测长短轴，
为中心点的预测长短轴样本空间。
式(5)中，
表示中心点的预测偏移量。
为中心点的预测偏移量样本空间。
式(6)中，
表示中心点的预测分割类别，
为中心点的预测分割类别样本空间，C表示检测目标类别数目。作品采用PEST10数据集进行训练与测试，该数据集包含十类常见田间害虫，故式中C＝10。
CenterU-Net联合训练模型在结合四个分支输出之前，对网络输出的中心点进行过滤，以获得中心点集合。将热力图上所有的预测中心点与其八个邻近的点进行比较，如果该点的
不等于0，且该点的响应值大于等于它的八个邻近点就保留，最后满足条件的前n个峰值点形成中心点集合
表达式为：
式(7)中，
表示第i个中心点的位置。
CenterU-Net联合训练模型结合中心点位置、中心点偏移量和长短轴的预测值在该位置上创建一个边界框，边界框B的计算表达式为：
CenterU-Net联合训练模型的害虫检测网络采用热力图中关键点高斯分布回归和分割类别相结合的方式确定害虫目标的中心点位置，然后中心点位置回归计算确定位于该点害虫的长短轴和中心点偏移量，最终在图像中绘制出边界框并检测害虫目标。
步骤4：损失函数自适应调整完成
由于CenterNet预测的中心点偏移量、目标尺寸和中心点位置是不同数量级的值，需要人为赋予权重调节参数来保持三个值达到相同数量级，所以本发明针对CenterU-Net联合训练模型的损失函数进行了优化。
CenterNet的损失函数Ldet计算公式为：
Ldet＝Lk+λsizeLsize+λoffLoff (9)
式(9)中，λsize表示Lsize的权重调节参数，λoff表示Loff的权重调节参数。
CenterU-Net联合训练模型训练中使用的损失函数Ldet由中心点损失函数Lk、目标长短轴损失函数Lsize、中心点偏移量损失函数Loff和分割类别损失函数Lseg构成，计算公式为：
Ldet＝Lk+Lsize+Loff+Lseg (10)
式(10)中,Lk、Lsize、Loff和Lseg的计算公式分别为：
式(11)中，α、β表示权重调节参数，取2和4，N表示害虫图像I的关键点数目,Yxyc表示热力图中中心点分布函数的真实值。
式(12)中，sk表示目标害虫尺寸的真实值，Spk表示目标害虫尺寸的预测值。
式(13)中，
表示中心点偏移量的预测值，p表示真实的中心点位置，
表示预测的中心点位置。
式(14)中classes表示分割标签数，因为加上了背景，故取11。经过改进后的Loff能够自适应地达到与另外两个损失函数相同的量级，无需额外添加权重调节参数。上角标均为波浪表示预测值。
为测试基于联合训练复杂环境田间害虫检测方法的性能，通过设置对比实验，与目前主流检测方法Faster R-CNN和CenterNet进行性能比较。三种检测方法的性能比较如表1所示，其中IoU为预测框和真实框的重合程度，AP是由不同IoU下的精准率和召回率绘制P-R曲线求积分计算得到的平均精度，FPS为评估目标检测速度的每秒帧率。由表1可知，CenterU-Net在各个IoU下的平均精度都高于CenterNet和Faster R-CNN。在IoU阈值为0.5的情况下，CenterU-Net的平均精度较CenterNet和Faster R-CNN分别提高了11.1％、8％，说明CenterU-Net在复杂环境下的害虫识别率较大提升。另外，CenterU-Net的分割预测分支网络在模型推理阶段无需参与运算，因此检测速度与CenterNet相同，FPS达到了33.3，检测时间较无锚框类目标检测算法减少近43.2％，这类低延迟方法更适用于田间害虫检测工作的应用场景。
表1三种检测方法的性能比较表
| 检测方法 | Backbone | AP0.5:0.95 | AP0.5 | AP0.75 | FPS |
| CenterNet | Resnet18 | 41.1 | 74.8 | 39.3 | 33.3 |
| Faster R-CNN | VGG16 | 44.7 | 77.9 | 44.7 | 15.6 |
| CenterU-Net | Resnet18 | 61.3 | 85.9 | 72.1 | 33.3 |
采用CenterU-Net在PEST10测试集中进行害虫检测任务，十类田间害虫在IoU为0.5下的平均精度如表2所示。在与CenterNet和Faster R-CNN的对比中可以看出，CenterU-Net因为JRM特征细化和上采样FPN特征补充，使得对目标害虫检测平均精度更高，尤其是对于训练样本数量较小的蝼蛄、斜纹夜蛾和象鼻虫三类害虫有较大的提升。
表2 PEST10测试集十类田间害虫检测平均精度表
十类田间害虫检测平均精度图如图6所示，CenterU-Net的检测精度均高于CenterNet和Faster R-CNN，其中斜纹夜蛾对比极为明显，该类害虫图片具有目标数量多、颜色与背景相似的特点，得益于分割网络确保CenterU-Net可以分割出背景与前景，特征提取网络能够获得更多的害虫特征，使检测精度有了显著提升。
为验证CenterU-Net对小目标、目标颜色与背景相近且数量较多和发生重叠情况的田间害虫检测性能情况，分别在PEST10测试集上进行对比检测实验，实验结果如图7所示。图7中的(a)为Faster R-CNN在小目标害虫检测场景下的检测效果，图7中的(b)为CenterNet在小目标害虫检测场景下的检测效果，图7中的(c)为CenterU-Net在小目标害虫检测场景下的检测效果，图7中的(d)为Faster R-CNN在害虫颜色与背景相近且数量较多检测场景下的检测效果，图7中的(e)为CenterNet在害虫颜色与背景相近且数量较多检测场景下的检测效果，图7中的(f)为CenterU-Net在害虫颜色与背景相近且数量较多检测场景下的检测效果，图7中的(g)为Faster R-CNN在害虫重叠检测场景下的检测效果，图7中的(h)为CenterNet在害虫重叠检测场景下的检测效果，图7中的(i)为CenterU-Net在害虫重叠情况检测场景下的检测效果。
由图7中的(a)-(c)可以看出，Faster R-CNN对于小目标害虫的检测效果最不理想，没有检测出害虫；CenterNet虽然检测出小目标害虫，但是生成边界框不够准确，检测置信度为0.90；而CenterU-Net有效分割出小目标害虫目标从而生成精准边界框，检测置信度为0.94。
由图7中的(d)-(f)可以看出，在害虫颜色与背景相近且数量多的情况下，FasterR-CNN的检测结果不佳，会出现误检和漏检；CenterNet对于颜色相近的物体会出现漏检，这种情况在目标害虫为小目标且与背景颜色相近的时候会尤为明显；而CenterU-Net通过分割网络有效地解决了这个问题，是三种方法中表现最好的。
由图7中的(g)-(i)可以看出，在检测害虫重叠情况下，Faster R-CNN会将重叠目标看作一个整体进行检测，这样会极大增加误检概率；CenterNet使用中心点预测机制，如果重叠目标中心点过于接近则只会检测出一个目标；而CenterU-Net通过分割预测得到了两个目标的分割结果，辅助中心点预测得到两个中心点，可以减少检测目标重叠情况下对结果的干扰。
分析可得在实际情况下，CenterU-Net在小目标、颜色相近且数量较多和重叠情况的田间害虫检测上，检测精度和效果都优于Faster RCNN和CenterNet。
此外CenterU-Net的模型占用空间远远小于Faster R-CNN(Faster R-CNN:111MB，CenterU-Net:74.3MB)，所以CenterU-Net更适合部署在智慧农业物联网等对存储空间有要求的移动便携型设备上，以满足其离线检测的实际需求。
本发明还提供一种田间害虫检测系统，包括：
获取模块，用于获取田间害虫图像。
分割模块，用于根据所述田间害虫图像利用联合训练模型的害虫分割网络进行分割，得到分割特征。
特征提取模块，用于根据所述田间害虫图像利用所述联合训练模型的害虫检测网络的主干特征提取网络进行检测，得到检测特征。
检测模块，用于根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块和所述害虫检测网络的特征金字塔网络进行检测，得到害虫检测结果；所述害虫检测结果包括热力图、尺寸、偏移量和分割类别。
作为一种可选的实施方式，所述检测模块，具体包括：
根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块与所述特征金字塔网络进行多尺度特征融合，得到多尺度融合特征。
对所述多尺度融合特征进行检测输出，得到害虫检测结果；所述害虫检测网络的检测头用于完成检测输出。
作为一种可选的实施方式，所述主干特征提取网络为Resnet18。
作为一种可选的实施方式，所述联合训练模型的损失函数的表达式为：
Ldet＝Lk+Lsize+Loff+Lseg
其中，Ldet为损失函数，Lk为中心点损失函数，Lsize为目标长短轴损失函数，Loff为中心点偏移量损失函数，Lseg为分割类别损失函数。
本发明还提供一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任意一项所述的方法。
本发明还提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述任意一项所述的方法。
本发明提出一种基于联合训练的复杂环境田间害虫检测方法，通过构建CenterU-Net联合训练模型，实现更为准确高效的害虫检测。该方法工作流程如图1所示，首先通过害虫检测网络提取出包含目标信息的检测特征；同时采用害虫分割网络得到提供精准分割定位依据的高分辨率特征，将特征进行分割预测，以提高目标中心点的预测效率，并降低颜色与背景相近、重叠、有遮挡目标对检测的干扰；然后通过联合细化模块(Joint refinementmodule,JRM)实现检测网络与分割网络的通信，将检测特征与分割特征进行融合，丰富训练过程中的多层次特征，提升目标边界的清晰度；之后使用特征金字塔(Feature PyramidNetworks，FPN)进行多尺度特征融合，将反卷积后的特征与之前提取到的特征进行同维拼接，弥补网络上采样阶段的特征损失；然后通过检测头输出对应目标的热力图、尺寸、偏移量和分割类别，以有效检测害虫目标；最后在检测网络中加入图像分割预测损失函数来调整训练参数，降低背景成为中心点的可能性。测试结果表明，本发明提出的基于联合训练的复杂环境田间害虫检测方法在小目标害虫、害虫与背景颜色相近、位置重叠、有遮挡、多目标等复杂环境下，具有更高的检测精度和较快的检测速度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种田间害虫检测方法，其特征在于，包括：
获取田间害虫图像；
根据所述田间害虫图像利用联合训练模型的害虫分割网络进行分割，得到分割特征；
根据所述田间害虫图像利用所述联合训练模型的害虫检测网络的主干特征提取网络进行检测，得到检测特征；
根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块和所述害虫检测网络的特征金字塔网络进行检测，得到害虫检测结果；所述害虫检测结果包括热力图、尺寸、偏移量和分割类别。
2.根据权利要求1所述的田间害虫检测方法，其特征在于，根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块和所述害虫检测网络的特征金字塔网络进行检测，得到害虫检测结果，具体包括：
根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块与所述特征金字塔网络进行多尺度特征融合，得到多尺度融合特征；
对所述多尺度融合特征进行检测输出，得到害虫检测结果；所述害虫检测网络的检测头用于完成检测输出。
3.根据权利要求1所述的田间害虫检测方法，其特征在于，所述主干特征提取网络为Resnet18。
4.根据权利要求1所述的田间害虫检测方法，其特征在于，所述联合训练模型的损失函数的表达式为：
Ldet＝Lk+Lsize+Loff+Lseg
其中，Ldet为损失函数，Lk为中心点损失函数，Lsize为目标长短轴损失函数，Loff为中心点偏移量损失函数，Lseg为分割类别损失函数。
5.一种田间害虫检测系统，其特征在于，包括：
获取模块，用于获取田间害虫图像；
分割模块，用于根据所述田间害虫图像利用联合训练模型的害虫分割网络进行分割，得到分割特征；
特征提取模块，用于根据所述田间害虫图像利用所述联合训练模型的害虫检测网络的主干特征提取网络进行检测，得到检测特征；
检测模块，用于根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块和所述害虫检测网络的特征金字塔网络进行检测，得到害虫检测结果；所述害虫检测结果包括热力图、尺寸、偏移量和分割类别。
6.根据权利要求5所述的田间害虫检测系统，其特征在于，所述检测模块，具体包括：
特征融合单元，用于根据所述检测特征和所述分割特征利用所述联合训练模型的联合细化模块与所述特征金字塔网络进行多尺度特征融合，得到多尺度融合特征；
检测输出单元，用于对所述多尺度融合特征进行检测输出，得到害虫检测结果；所述害虫检测网络的检测头用于完成检测输出。
7.根据权利要求5所述的田间害虫检测系统，其特征在于，所述主干特征提取网络为Resnet18。
8.根据权利要求5所述的田间害虫检测系统，其特征在于，所述联合训练模型的损失函数的表达式为：
Ldet＝Lk+Lsize+Loff+Lseg
其中，Ldet为损失函数，Lk为中心点损失函数，Lsize为目标长短轴损失函数，Loff为中心点偏移量损失函数，Lseg为分割类别损失函数。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至4中任意一项所述的方法。
10.一种计算机存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310117533.7A CN116012718B (zh) | 2023-02-15 | 2023-02-15 | 田间害虫检测方法、系统、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310117533.7A CN116012718B (zh) | 2023-02-15 | 2023-02-15 | 田间害虫检测方法、系统、电子设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116012718A true CN116012718A (zh) | 2023-04-25 |
| CN116012718B CN116012718B (zh) | 2023-10-27 |
Family
ID=86024953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310117533.7A Active CN116012718B (zh) | 2023-02-15 | 2023-02-15 | 田间害虫检测方法、系统、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116012718B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110770752A (zh) * | 2018-09-04 | 2020-02-07 | 安徽中科智能感知产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
| CN112381764A (zh) * | 2020-10-23 | 2021-02-19 | 西安科锐盛创新科技有限公司 | 一种农作物病虫害检测方法 |
| CN112861767A (zh) * | 2021-02-26 | 2021-05-28 | 北京农业信息技术研究中心 | 一种粘虫板图像上小体积害虫检测方法及系统 |
| CN114092799A (zh) * | 2021-10-28 | 2022-02-25 | 长春工业大学 | 基于池化视觉Transformer林业害虫识别检测方法 |
| CN114220035A (zh) * | 2021-12-23 | 2022-03-22 | 中科合肥智慧农业协同创新研究院 | 一种基于改进yolo v4的快速害虫检测方法 |
| CN114241317A (zh) * | 2021-12-22 | 2022-03-25 | 中科合肥智慧农业协同创新研究院 | 一种基于灯下相似害虫图像自适应特征融合检测方法 |
| CN114708231A (zh) * | 2022-04-11 | 2022-07-05 | 常州大学 | 一种基于轻量化YOLO v5的甘蔗蚜虫目标检测方法 |
| CN114820652A (zh) * | 2022-04-07 | 2022-07-29 | 北京医准智能科技有限公司 | 乳腺x线图像局部质量异常区域的分割方法、装置及介质 |
-
2023
- 2023-02-15 CN CN202310117533.7A patent/CN116012718B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110770752A (zh) * | 2018-09-04 | 2020-02-07 | 安徽中科智能感知产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
| CN112381764A (zh) * | 2020-10-23 | 2021-02-19 | 西安科锐盛创新科技有限公司 | 一种农作物病虫害检测方法 |
| CN112861767A (zh) * | 2021-02-26 | 2021-05-28 | 北京农业信息技术研究中心 | 一种粘虫板图像上小体积害虫检测方法及系统 |
| CN114092799A (zh) * | 2021-10-28 | 2022-02-25 | 长春工业大学 | 基于池化视觉Transformer林业害虫识别检测方法 |
| CN114241317A (zh) * | 2021-12-22 | 2022-03-25 | 中科合肥智慧农业协同创新研究院 | 一种基于灯下相似害虫图像自适应特征融合检测方法 |
| CN114220035A (zh) * | 2021-12-23 | 2022-03-22 | 中科合肥智慧农业协同创新研究院 | 一种基于改进yolo v4的快速害虫检测方法 |
| CN114820652A (zh) * | 2022-04-07 | 2022-07-29 | 北京医准智能科技有限公司 | 乳腺x线图像局部质量异常区域的分割方法、装置及介质 |
| CN114708231A (zh) * | 2022-04-11 | 2022-07-05 | 常州大学 | 一种基于轻量化YOLO v5的甘蔗蚜虫目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 冯翔;吴瀚;司冰灵;季超;: "基于嵌网融合结构的卷积神经网络手势图像识别方法", 生物医学工程研究, no. 04 * |
| 江晓林;彭波;项羽;: "YOLO的行人检测改进算法", 黑龙江科技大学学报, no. 03 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116012718B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dias et al. | Multispecies fruit flower detection using a refined semantic segmentation network | |
| Dias et al. | Apple flower detection using deep convolutional networks | |
| Jia et al. | Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot | |
| US11429818B2 (en) | Method, system and device for multi-label object detection based on an object detection network | |
| Xiong et al. | Visual detection of green mangoes by an unmanned aerial vehicle in orchards based on a deep learning method | |
| CN107067043B (zh) | 一种农作物病虫害检测方法 | |
| CN109344883A (zh) | 一种基于空洞卷积的复杂背景下果树病虫害识别方法 | |
| CN110770752A (zh) | 多尺度特征融合网络结合定位模型的害虫自动计数方法 | |
| CN114387520B (zh) | 一种用于机器人采摘的密集李子精准检测方法及其系统 | |
| CN110222215B (zh) | 一种基于f-ssd-iv3的作物害虫检测方法 | |
| CN111222396A (zh) | 一种全天候多光谱行人检测方法 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN111160396B (zh) | 一种基于多图结构的图卷积网络的高光谱图像分类方法 | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| CN110826556A (zh) | 改进深度学习的广谱农作物杂草识别与定位方法 | |
| CN111340019A (zh) | 基于Faster R-CNN的粮仓害虫检测方法 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| Rahim et al. | Deep learning-based accurate grapevine inflorescence and flower quantification in unstructured vineyard images acquired using a mobile sensing platform | |
| CN114972208A (zh) | 一种基于YOLOv4的轻量化小麦赤霉病检测方法 | |
| Chen et al. | CitrusYOLO: a algorithm for citrus detection under orchard environment based on YOLOV4 | |
| CN111553337A (zh) | 一种基于改进锚框的高光谱多目标检测方法 | |
| Lu et al. | Citrus green fruit detection via improved feature network extraction | |
| Jia et al. | YOLOF-Snake: An efficient segmentation model for green object fruit | |
| Hu et al. | Automatic detection of pecan fruits based on Faster RCNN with FPN in orchard | |
| CN117079125A (zh) | 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |