CN115797928A - 基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法 - Google Patents
基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法 Download PDFInfo
- Publication number
- CN115797928A CN115797928A CN202211568315.7A CN202211568315A CN115797928A CN 115797928 A CN115797928 A CN 115797928A CN 202211568315 A CN202211568315 A CN 202211568315A CN 115797928 A CN115797928 A CN 115797928A
- Authority
- CN
- China
- Prior art keywords
- summer
- detection
- frame
- spore
- summer spore
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 153
- 241000209140 Triticum Species 0.000 title claims abstract description 32
- 235000021307 Triticum Nutrition 0.000 title claims abstract description 32
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 43
- 239000013598 vector Substances 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 8
- 241000233866 Fungi Species 0.000 abstract description 6
- 201000010099 disease Diseases 0.000 abstract description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 3
- 238000011897 real-time detection Methods 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 208000031888 Mycoses Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000415582 Puccinia striiformis f. sp. tritici Species 0.000 description 1
- 230000036579 abiotic stress Effects 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 244000052616 bacterial pathogen Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004790 biotic stress Effects 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 230000002538 fungal effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003041 laboratory chemical Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003753 real-time PCR Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 229940099259 vaseline Drugs 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法，包括：获取夏孢子原始显微图像；对夏孢子原始显微图像进行预处理，得到标注数据；基于可旋转椭圆框构建夏孢子检测模型；将训练集输入夏孢子检测模型进行训练，得到训练后的夏孢子检测模型；将测试集中的夏孢子显微图像输入到训练后的夏孢子检测模型，训练后的夏孢子检测模型输出夏孢子检测信息，通过夏孢子检测信息检测定位出显微图像中的小麦条锈病菌夏孢子。本发明能够精准检测并分割出夏孢子显微图像中的夏孢子，且推理速度较快；对小麦条锈病菌夏孢子检测的识别精确度达到了98.61％，分割率达到了85.15％，推理速度为0.3254s/iter，达到了实时检测的应用需求。
Description
技术领域
本发明涉及农业图像处理技术领域，尤其是一种基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法。
背景技术
小麦是世界上人类的主要粮食来源，是粮食安全最重要的谷物作物之一。然而，小麦的安全生产面临着许多非生物和生物胁迫的挑战，特别是致病细菌，其中条锈病是最严重的一种。小麦条锈病，也称为由条形柄锈菌(Puccinia striiformis f.sp.tritici)引起的黄锈病，是一种可摧毁小麦作物的叶面真菌病，该病导致小麦产量的重大损失，已在全球60多个国家发现，特别是在温带地区。小麦条锈菌的夏孢子很容易在高气流的远距离传播，其特点是大面积暴发和流行。麦田的空气中的夏孢子数量与小麦病害的发生密切相关，因此，及时、准确地捕捉和计数空气中的夏孢子，可以为小麦条锈病的早期预测提供基础数据，对减少该病造成的损失具有重要意义。
空气中真菌孢子的捕获和计数是植物保护领域的一个具有挑战性的问题。由于各种真菌病害作物的致病孢子通常为微米级，孢子采集需要孢子捕获装置。通过专业技术人员用显微镜进行肉眼观察来计数孢子的原始方法是耗时耗力且效率低下的，有时甚至会导致巨大的错误。基于实时PCR的实验室化学方法可以实现孢子浓度的定量检测，但由于其技术要求高、预处理复杂和操作复杂，很难实现在线现场鉴定孢子。近年来，机器视觉算法被广泛应用于不同作物的孢子识别研究，然而，结合传统的机器视觉算法来检测孢子通常包括图像预处理、特征提取和优化、模式识别和计数。在特定环境下的孢子识别方面取得了一些成果，但缺点是手动提取特征的方法是单独的、复杂的和耗时的，这使得模型不具有通用性。迫切需要建立一个在复杂环境中具有高通用性和鲁棒性的孢子识别和计数模型。
随着深度学习的发展和并行计算能力的不断提高，卷积神经网络CNN在目标检测领域具有明显优势，它是一种直接处理原始数据并自动学习表示和提取适当特征的学习方法。与手动提取的特征相比，训练后的表示需要更少的手动干预，并导致更好的结果。目前，基于CNN的物体检测方法主要分为两类：第一种基于区域推荐网络RPN，如Fast RCNN、Faster R-CNN、Mask R-CNN；另一种基于全图像回归，以实现目标分类和位置的同步预测，例如CenterNet、YOLO、SSD。目前的CNN检测方法尚未与孢子形态特征相结合，导致了弱鲁棒性以及夏孢子的误检和漏检问题，从图2可以看出：夏孢子的形状为椭圆形，而且个体较小且密集；夏孢子相互粘附严重；由于涂抹凡士林时空气中的晶体杂质和灰尘的影响，显微图像中存在晶体杂质和尘埃，图像的上述特征增加了夏孢子自动检测的难度。
因此，如何开发出一种针对小麦条锈病菌夏孢子显微图像检测方法已经成为亟待解决的技术问题。
发明内容
本发明的目的在于提供一种能够精准检测并分割出夏孢子显微图像中的夏孢子，且推理速度较快，识别精确度，满足实时检测的应用需求的基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法。
为实现上述目的，本发明采用了以下技术方案：一种基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法，该方法包括下列顺序的步骤：
(1)获取夏孢子原始显微图像；
(2)对夏孢子原始显微图像进行预处理，得到标注数据，标注数据形成夏孢子数据集，将夏孢子数据集按6:2:2划分为训练集、验证集和测试集；
(3)基于可旋转椭圆框构建夏孢子检测模型；
(4)将训练集输入夏孢子检测模型进行训练，得到训练后的夏孢子检测模型，用验证集对训练后的夏孢子检测模型进行验证；
(5)将测试集中的夏孢子显微图像输入到训练后的夏孢子检测模型，训练后的夏孢子检测模型输出夏孢子检测信息，所述夏孢子检测信息包括夏孢子的热力图、偏移量、框参数和方向类，通过夏孢子检测信息检测定位出显微图像中的小麦条锈病菌夏孢子。
在步骤(2)中，所述对夏孢子原始显微图像进行预处理，得到标注数据具体是指：
对采集的夏孢子原始显微图像，使用via 2.0标注工具的VGG图像注释器的椭圆框标注夏孢子图像，得到初始的COCO格式标注数据，然后使用标注数据的144个离散点，计算出椭圆框的长短轴两端的端点坐标和旋转角度，最终得到标注数据，其格式为：
bbox[xa1,ya1,xa2,ya2,xb1,yb1,xb2,yb2,angel]
其中，(xa1,ya1)和(xa2,ya2)表示椭圆框长轴两端的坐标，(xb1,yb1)和(xb2,yb2)表示椭圆框短轴两端的坐标，angel表示椭圆框长轴相对于x轴正方向的角度，范围是0°～180°。
所述步骤(3)具体包括以下步骤：
(3a)构建夏孢子检测模型：使用改进的ResNet50 Conv1-5作为主干网络，在主干网络的顶部，对特征图进行采样，并输出一个比输入图像小4倍的特征图；在上采样过程中，通过跳转连接将深层和浅层结合，首先通过双线性插值将深层采样到与浅层相同的大小，通过3×3卷积层对上采样特征图进行细化，然后将细化后的特征映射与浅层连接，然后是1×1卷积层以细化通道特征；在潜在层中使用批量归一化和ReLU激活，假设输入RGB图像为I∈R3×T×W,，其中，T和W是RGB图像的高度和宽度，输出特征映射
其中，C代表通道数，S代表下采样倍数，然后将其转化为四个分支：热力图
偏移量
框参数
和方向类
其中，K是数据集类别的数量，K＝1；最后，使用热力图检测头模块、偏移量检测头模块、框参数检测头模块和方向类检测头模块分别得出目标的中心、偏移量、框参数和方向类；
(3b)设定损失函数：设定夏孢子检测模型的损失函数Ldet由4项组成：热力图损失、偏移量、框参数损失和方向类损失，其公式如下：
Ldet＝Lh+Lo+Lb+Lα (1)
式中，Lh为热力图损失，Lo为偏移量损失，Lb为框参数损失，Lα为方向类损失；
所述热力图损失Lh的计算公式为：
其中，hi表示和预测热力图值，
表示地面真实热力图值，i表示特征图上的像素位置，N表示对象的数量，β和γ是超参数，分别取2和4；
所述偏移量损失Lo的计算公式为：
其中，N表示对象的数量，ok是预测偏移量值，
是地面真实偏移量值，k是对象的索引，smooth L1 loss的公式为：
框参数损失Lb的公式为：
其中，bk是预测框参数值，
是地面真实框参数值；
方向类损失Lα的公式为：
其中，αi是预测方向类值，
是地面真实方向类值。
在步骤(4)中，所述将训练集输入夏孢子检测模型进行训练具体包括以下步骤：
(4a)设置训练参数：设定样本批尺寸batch size为4，训练过程采用自适应矩估计方法进行优化，训练共24个迭代周期，训练学习率设为1.25×10-4，权重衰减设为0.0001；
(4b)夏孢子检测模型的训练：
将预处理后的夏孢子显微图像输入夏孢子检测模型，获取待检测特征图；对待检测特征图进行卷积、激活操作，计算图像的热力图，得到夏孢子图像中各个孢子目标的中心点，并通过回归训练计算得到图像中孢子目标框参数和方向类，根据夏孢子目标中心点、框参数和方向类确定夏孢子目标检测框。
在步骤(3a)中，所述框参数检测头模块包括边界感测向量、椭圆检测框外部的宽和高；方向类检测头模块包括水平检测框HDB和旋转检测框RDB：
在使用框参数检测头模块之前，首先，将3×3最大池层应用于输出热力图上的非最大抑制，以提取目标的中心点；然后，通过学习边界感测向量来捕捉对象的旋转边界检测向量；边界感测向量包含对象中心点的顶部t、右侧r、底部b和左侧l向量，顶部t、右侧r、底部b和左侧l向量分布在笛卡尔坐标系的四个象限中；
方向类检测头模块将定向检测框ODB分为两类：即水平检测框HDB和旋转检测框RDB，旋转检测框RDB包括除水平检测框HDB之外的所有定向检测框，确定定向检测框ODB类型的公式如下：
其中，IOU是定向检测框ODB和水平检测框HDB之间的重叠程度。
由上述技术方案可知，本发明的有益效果为：第一，本发明与现有技术相比能够精准检测并分割出夏孢子显微图像中的夏孢子，且推理速度较快；第二，本发明优化特征提取网络提取目标特征，同时改进检测框为可旋转的椭圆框以增强分割重叠度，对小麦条锈病菌夏孢子检测的识别精确度达到了98.61％，分割率达到了85.15％，推理速度为0.3254s/iter，达到了实时检测的应用需求；第三，本发明与现有技术相比，能够实现复杂环境下的夏孢子检测，具有更广阔的应用前景。
附图说明
图1为本发明的方法流程图；
图2为采集的夏孢子原始显微图像；
图3为本发明的网络结构图；
图4为改进的Resnet50特征提取网络结构图；
图5为边界感知向量图；
图6、图7均为利用本发明的夏孢子显微图像检测效果图。
具体实施方式
如图1所示，一种基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法，该方法包括下列顺序的步骤：
(1)获取夏孢子原始显微图像，如图2所示；
(2)对夏孢子原始显微图像进行预处理，得到标注数据，标注数据形成夏孢子数据集，将夏孢子数据集按6:2:2划分为训练集、验证集和测试集；
(3)基于可旋转椭圆框构建夏孢子检测模型，夏孢子检测模型在本发明中简称CDRENet模型，CDRENet即Rotating Elliptical network based on CBAM and DCN；
(4)将训练集输入夏孢子检测模型进行训练，得到训练后的夏孢子检测模型，用验证集对训练后的夏孢子检测模型进行验证；
(5)将测试集中的夏孢子显微图像输入到训练后的夏孢子检测模型，训练后的夏孢子检测模型输出夏孢子检测信息，所述夏孢子检测信息包括夏孢子的热力图、偏移量、框参数和方向类，通过夏孢子检测信息检测定位出显微图像中的小麦条锈病菌夏孢子。
在步骤(2)中，所述对夏孢子原始显微图像进行预处理，得到标注数据具体是指：
拍摄过程中，由于相机抖动，拍摄到的一些夏孢子原始显微图像变得模糊和重影。为了保证图像质量，对获得的夏孢子原始显微图像进行了预处理，共获得5100张显微图像。对采集的夏孢子原始显微图像，使用via 2.0标注工具的VGG图像注释器的椭圆框标注夏孢子图像，得到初始的COCO格式标注数据，然后使用标注数据的144个离散点，计算出椭圆框的长短轴两端的端点坐标和旋转角度，最终得到标注数据，其格式为：
bbox[xa1,ya1,xa2,ya2,xb1,yb1,xb2,yb2,angel]
其中，(xa1,ya1)和(xa2,ya2)表示椭圆框长轴两端的坐标，(xb1,yb1)和(xb2,yb2)表示椭圆框短轴两端的坐标，angel表示椭圆框长轴相对于x轴正方向的角度，范围是0°～180°。
如图3、图4所示，所述步骤(3)具体包括以下步骤：
(3a)构建夏孢子检测模型：使用改进的ResNet50 Conv1-5作为主干网络，在主干网络的顶部，对特征图进行采样，并输出一个比输入图像小4倍的特征图；在上采样过程中，通过跳转连接将深层和浅层结合，以共享高层语义信息和底层更精细的细节，首先通过双线性插值将深层采样到与浅层相同的大小，通过3×3卷积层对上采样特征图进行细化，然后将细化后的特征映射与浅层连接，然后是1×1卷积层以细化通道特征；在潜在层中使用批量归一化和ReLU激活，假设输入RGB图像为I∈R3×T×W,，其中，T和W是RGB图像的高度和宽度，输出特征映射
其中，C代表通道数，S代表下采样倍数，然后将其转化为四个分支：热力图
偏移量
框参数
和方向类
其中，K是数据集类别的数量，K＝1；最后，使用热力图检测头模块、偏移量检测头模块、框参数检测头模块和方向类检测头模块分别得出目标的中心、偏移量、框参数和方向类；
(3b)设定损失函数：设定夏孢子检测模型的损失函数Ldet由4项组成：热力图损失、偏移量、框参数损失和方向类损失，其公式如下：
Ldet＝Lh+Lo+Lb+Lα (1)
式中，Lh为热力图损失，Lo为偏移量损失，Lb为框参数损失，Lα为方向类损失；
训练热力图时，只有中心点c＝(cx,cy)为正，其他所有点，包括Gaussian bumps中的点，都是负的，由于不平衡问题，直接学习中心点很困难。为了解决这个问题，本发明降低了Gaussian bumps中点的惩罚，并使用改进的focal loss来训练热力图Lh，所述热力图损失Lh的计算公式为：
其中，hi表示和预测热力图值，
表示地面真实热力图值，i表示特征图上的像素位置，N表示对象的数量，β和γ是超参数，分别取2和4；
在推理阶段，从预测热力图H中提取峰值点作为对象的中心点位置，这些中心点c是整数。但是，从输入图像到输出热力图的点向下缩放会生成一个浮点数。为了补偿量化的浮点中心点和整数中心点之间的差异，本发明预测了偏移量
给定输入图像上的地面真值中心点
缩放后的浮动中心点和量化中心点之间的偏移为：
其中，
表示地面真值中心点的横坐标，
表示地面真值中心点的纵坐标，s表示下采样倍数。
偏移量损失Lo用smooth L1loss函数进行优化，所述偏移量损失Lo的计算公式为：
其中，N表示对象的数量，ok是预测偏移量值，
是地面真实偏移量值，k是对象的索引，smoothL1 loss的公式为：
本发明还使用smoothL1 loss来回归中心点处的框参数损失Lb，框参数损失Lb的公式为：
其中，bk是预测框参数值，
是地面真实框参数值；
方向类损失Lα使用二进制交叉熵损失进行训练，方向类损失Lα的公式为：
其中，αi是预测方向类值，
是地面真实方向类值。
在实验室环境训练，操作系统为Windows11，处理器为AMD Ryzen 95950X 16CoreProcessor 3.40GHz，显卡为1块NVIDIA RTX 3090，显存大小24GB。训练使用Pytorch1.7深度学习框架，图片张数为5100张，4000张作为训练和验证集，按照8：2划分，剩余图片作为测试集。训练使用的样本批尺寸(Batch size)为4，训练过程采用自适应矩估计(Adaptivemoment estimation，ADAM)方法进行优化。训练共24个迭代周期(Epoch)，每个周期750次，共计迭代1.8×104次。训练学习率设为1.25×10－4，权重衰减设为0.0001；
在步骤(4)中，所述将训练集输入夏孢子检测模型进行训练具体包括以下步骤：
(4a)设置训练参数：设定样本批尺寸batch size为4，训练过程采用自适应矩估计方法进行优化，训练共24个迭代周期，训练学习率设为1.25×10-4，权重衰减设为0.0001；
(4b)夏孢子检测模型的训练：
将预处理后的夏孢子显微图像输入夏孢子检测模型，获取待检测特征图；对待检测特征图进行卷积、激活操作，计算图像的热力图，得到夏孢子图像中各个孢子目标的中心点，并通过回归训练计算得到图像中孢子目标框参数和方向类，根据夏孢子目标中心点、框参数和方向类确定夏孢子目标检测框。
在步骤(3a)中，所述框参数检测头模块包括边界感测向量、椭圆检测框外部的宽和高；方向类检测头模块包括水平检测框HDB和旋转检测框RDB：
在使用框参数检测头模块之前，首先，将3×3最大池层应用于输出热力图上的非最大抑制，以提取目标的中心点；然后，通过学习边界感测向量来捕捉对象的旋转边界检测向量，如图5中的(a)、(b)图所示；边界感测向量包含对象中心点的顶部t、右侧r、底部b和左侧l向量，顶部t、右侧r、底部b和左侧l向量分布在笛卡尔坐标系的四个象限中；任何方向上的所有对象都共享相同的坐标系，这将有利于相互信息的传递，从而提高模型的泛化能力。这里使用了四个矢量，而不是两个，t和b，或r和l，以确保在某些局部特征模糊和弱时共享更多的相互信息。
在实践中，观察到当物体几乎与x轴和y轴对齐时，检测将失败。原因是在象限的边界，很难区分矢量的类型，这种情况称之为coner case，如图5中的(c)图所示。为了解决这个问题，采用方向类检测头模块将定向检测框ODB分为两类：即水平检测框HDB和旋转检测框RDB，旋转检测框RDB包括除水平检测框HDB之外的所有定向检测框，确定定向检测框ODB类型的公式如下：
其中，IOU是定向检测框ODB和水平检测框HDB之间的重叠程度。
为了分析不同模块对模型的重要性，在夏孢子数据集上进行了消融实验。本发明以CenterNet模型为基准，比较了添加一些不同模块后模型的性能。实验比较结果如表1所示。
由于本发明中使用的数据集的显微图像中的夏孢子的尺寸较小，且目标种类较少，因此可能会出现过拟合现象。因此，将Dropout层添加到网络模型中，以减少每个神经元表示的特征之间的重复和冗余，从而防止过拟合。从表1可以看出，添加不同模块后，CDRENet模型的各种性能指标都有所改善。添加REDB模块即可旋转椭圆框模块后，准确率和召回率分别达到98.25％和98.08％，分别比基线高0.38％和0.14％。此外，在添加每个不同模块后，模型的性能得到了改善。将所有模块添加到Resnet50骨干网络后，模型的精度、召回率和F1值分别达到最高的98.61％、98.52％和98.56％。
表1不同模块对模型的性能作用对比表
在相同条件下，使用CDRENet模型分别与CenterNet、CornerNet、YOLO-v3、FCOS和Faster RCNN模型进行对比实验，实验对比数据如表2所示。
表2不同模型对孢子数据集的检测结果对比
在与不同模型的比较测试中，表2中的结果显示CDRENet模型具有最佳性能。与CenterNet、CornerNet、YOLO-v3、FCOS和Faster RCNN相比，CDRENet模型实现了最佳的分割率：与CenterNet相比提高了1.03％，与CornerNet相比提高1.16％，与YOLO-v3相比提高了1.64％，与FCOS相比提高了0.97％，与Faster RCNN相比提高了0.81％。与CenterNet相比，CDRENet模型的准确率和召回率分别提高了0.74％和0.58％。从表2中还可以看出，本发明中使用的CDRENet模型的参数仅比原始CenterNet模型的参数增加了6.4％，但推理速度提高了0.5208s/iter。表2中的结果表明，YOLO-v3模型在实验中所研究和比较的模型中具有最快的推理速度，但从表2中可以看出，其性能指标如精度(96.89％)、召回率(97.98％)和分割率(83.96％)值较差。实验数据表明，CDRENet模型的F1分数比CornerNet和FCOS(也是无锚模型)的F1分数分别高0.61％和0.84％。此外，实验数据还表明，使用Hourglass Net的CornerNet模型的参数远大于使用Resnet的其他无锚模型的参数，并且由于模型的参数较大，推断速度相对较慢。最后，与基于锚框的Faster RCNN模型相比，CDRENet模型的准确率、召回率和F1得分也有一定程度的提高。与CDRENet模型相比，FasterRCNN作为基于锚的模型具有更大的参数和更慢的推理速度。
如图6、图7所示，在孢子数量较少的情况下，本发明能检测出所有孢子。当孢子数目增多到50个以上时，由于孢子的密度增大、孢子粘连与重叠增加了模型识别的难度。但是由于CDRENet模型的检测框是可旋转的椭圆框，更加贴合孢子的形状，在框中出现的背景更少，可显著地关注孢子区域，并减少背景区域。在孢子密度增大的情况下，依然能够很好地检测出所有的孢子。在保证检测精准率的前提下，获得更高的孢子检测分割率。因此，本发明使用的CDRENet模型的椭圆框检测方法效果优于传统方法，出现误检和漏检的概率更低。
综上所述，为了提高小麦条锈菌夏孢子的检测精度和效率，本发明融合在主干结构中的CBAM模块即卷积注意力模块减少了环境中无效特征的影响；DCN模块即可变形卷积模块的使用进一步提高了网络的识别精度和检测范围；设计了框参数和方向类检测头，实现了对夏孢子的旋转椭圆框检测。结果表明，本发明能够有效地提取夏孢子特征，并在CDRENet模型上以较高的精度和分割率检测夏孢子，准确率为98.61％，分割率为85.12％。此外，与其他方法相比，本发明仍然获得了更好的检测结果，这证明了它对密集小目标具有更好的鲁棒性和更好的有效性。随着农业的发展，及时发现农田中的小麦病害是未来小麦生产行业的必然趋势，本发明实现了更高、更快的目标检测。
本发明研究结果为小麦条锈病的检测提供了有力的技术支持。以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (5)
1.一种基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法，其特征在于：该方法包括下列顺序的步骤：
(1)获取夏孢子原始显微图像；
(2)对夏孢子原始显微图像进行预处理，得到标注数据，标注数据形成夏孢子数据集，将夏孢子数据集按6:2:2划分为训练集、验证集和测试集；
(3)基于可旋转椭圆框构建夏孢子检测模型；
(4)将训练集输入夏孢子检测模型进行训练，得到训练后的夏孢子检测模型，用验证集对训练后的夏孢子检测模型进行验证；
(5)将测试集中的夏孢子显微图像输入到训练后的夏孢子检测模型，训练后的夏孢子检测模型输出夏孢子检测信息，所述夏孢子检测信息包括夏孢子的热力图、偏移量、框参数和方向类，通过夏孢子检测信息检测定位出显微图像中的小麦条锈病菌夏孢子。
2.根据权利要求1所述的基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法，其特征在于：在步骤(2)中，所述对夏孢子原始显微图像进行预处理，得到标注数据具体是指：
对采集的夏孢子原始显微图像，使用via 2.0标注工具的VGG图像注释器的椭圆框标注夏孢子图像，得到初始的COCO格式标注数据，然后使用标注数据的144个离散点，计算出椭圆框的长短轴两端的端点坐标和旋转角度，最终得到标注数据，其格式为：
bbox[xa1,ya1,xa2,ya2,xb1,yb1,xb2,yb2,angel]
其中，(xa1,ya1)和(xa2,ya2)表示椭圆框长轴两端的坐标，(xb1,yb1)和(xb2,yb2)表示椭圆框短轴两端的坐标，angel表示椭圆框长轴相对于x轴正方向的角度，范围是0°～180°。
3.根据权利要求1所述的基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法，其特征在于：所述步骤(3)具体包括以下步骤：
(3a)构建夏孢子检测模型：使用改进的ResNet50 Conv1-5作为主干网络，在主干网络的顶部，对特征图进行采样，并输出一个比输入图像小4倍的特征图；在上采样过程中，通过跳转连接将深层和浅层结合，首先通过双线性插值将深层采样到与浅层相同的大小，通过3×3卷积层对上采样特征图进行细化，然后将细化后的特征映射与浅层连接，然后是1×1卷积层以细化通道特征；在潜在层中使用批量归一化和ReLU激活，假设输入RGB图像为I∈R3 ×T×W,，其中，T和W是RGB图像的高度和宽度，输出特征映射
其中，C代表通道数，S代表下采样倍数，然后将其转化为四个分支：热力图
偏移量
框参数
和方向类
其中，K是数据集类别的数量，K＝1；最后，使用热力图检测头模块、偏移量检测头模块、框参数检测头模块和方向类检测头模块分别得出目标的中心、偏移量、框参数和方向类；
(3b)设定损失函数：设定夏孢子检测模型的损失函数Ldet由4项组成：热力图损失、偏移量、框参数损失和方向类损失，其公式如下：
Ldet＝Lh+Lo+Lb+Lα (1)
式中，Lh为热力图损失，Lo为偏移量损失，Lb为框参数损失，Lα为方向类损失；
所述热力图损失Lh的计算公式为：
其中，hi表示和预测热力图值，
表示地面真实热力图值，i表示特征图上的像素位置，N表示对象的数量，β和γ是超参数，分别取2和4；
所述偏移量损失Lo的计算公式为：
其中，N表示对象的数量，ok是预测偏移量值，
是地面真实偏移量值，k是对象的索引，smoothL1 loss的公式为：
框参数损失Lb的公式为：
其中，bk是预测框参数值，
是地面真实框参数值；
方向类损失Lα的公式为：
其中，αi是预测方向类值，
是地面真实方向类值。
4.根据权利要求1所述的基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法，其特征在于：在步骤(4)中，所述将训练集输入夏孢子检测模型进行训练具体包括以下步骤：
(4a)设置训练参数：设定样本批尺寸batch size为4，训练过程采用自适应矩估计方法进行优化，训练共24个迭代周期，训练学习率设为1.25×10-4，权重衰减设为0.0001；
(4b)夏孢子检测模型的训练：
将预处理后的夏孢子显微图像输入夏孢子检测模型，获取待检测特征图；对待检测特征图进行卷积、激活操作，计算图像的热力图，得到夏孢子图像中各个孢子目标的中心点，并通过回归训练计算得到图像中孢子目标框参数和方向类，根据夏孢子目标中心点、框参数和方向类确定夏孢子目标检测框。
5.根据权利要求3所述的基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法，其特征在于：在步骤(3a)中，所述框参数检测头模块包括边界感测向量、椭圆检测框外部的宽和高；方向类检测头模块包括水平检测框HDB和旋转检测框RDB：
在使用框参数检测头模块之前，首先，将3×3最大池层应用于输出热力图上的非最大抑制，以提取目标的中心点；然后，通过学习边界感测向量来捕捉对象的旋转边界检测向量；边界感测向量包含对象中心点的顶部t、右侧r、底部b和左侧l向量，顶部t、右侧r、底部b和左侧l向量分布在笛卡尔坐标系的四个象限中；
方向类检测头模块将定向检测框ODB分为两类：即水平检测框HDB和旋转检测框RDB，旋转检测框RDB包括除水平检测框HDB之外的所有定向检测框，确定定向检测框ODB类型的公式如下：
其中，IOU是定向检测框ODB和水平检测框HDB之间的重叠程度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211568315.7A CN115797928A (zh) | 2022-12-08 | 2022-12-08 | 基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211568315.7A CN115797928A (zh) | 2022-12-08 | 2022-12-08 | 基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115797928A true CN115797928A (zh) | 2023-03-14 |
Family
ID=85417782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211568315.7A Pending CN115797928A (zh) | 2022-12-08 | 2022-12-08 | 基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797928A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385432A (zh) * | 2023-06-01 | 2023-07-04 | 安徽大学 | 一种轻量化解耦小麦赤霉病孢子检测方法 |
-
2022
- 2022-12-08 CN CN202211568315.7A patent/CN115797928A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385432A (zh) * | 2023-06-01 | 2023-07-04 | 安徽大学 | 一种轻量化解耦小麦赤霉病孢子检测方法 |
| CN116385432B (zh) * | 2023-06-01 | 2023-08-15 | 安徽大学 | 一种轻量化解耦小麦赤霉病孢子检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| He et al. | Defect detection of hot rolled steels with a new object detection framework called classification priority network | |
| He et al. | Deep direct regression for multi-oriented scene text detection | |
| Li et al. | A coarse-to-fine network for aphid recognition and detection in the field | |
| Saleem et al. | A performance-optimized deep learning-based plant disease detection approach for horticultural crops of New Zealand | |
| CN110610210B (zh) | 一种多目标检测方法 | |
| CN113869246B (zh) | 基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| Zhang et al. | Prioritizing robotic grasping of stacked fruit clusters based on stalk location in RGB-D images | |
| CN112149664A (zh) | 一种优化分类与定位任务的目标检测方法 | |
| Sun et al. | FBoT-Net: Focal bottleneck transformer network for small green apple detection | |
| Wei et al. | An automated detection model of threat objects for X-ray baggage inspection based on depthwise separable convolution | |
| CN115797928A (zh) | 基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法 | |
| Bansal et al. | TDC: An MLP-based Sustainable DL Model for Oak Wilt Disease Classification | |
| Sharma et al. | Deep learning meets agriculture: A faster RCNN based approach to pepper leaf blight disease detection and multi-classification | |
| Jeevanantham et al. | Deep learning based plant diseases monitoring and detection system | |
| Luo et al. | CDDNet: Camouflaged defect detection network for steel surface | |
| Yuan et al. | Impact of dataset on the study of crop disease image recognition | |
| Hui et al. | DSAA-YOLO: UAV remote sensing small target recognition algorithm for YOLOV7 based on dense residual super-resolution and anchor frame adaptive regression strategy | |
| Tang et al. | Salient Feature Pyramid Network for Ship Detection in SAR Images | |
| Hu et al. | Detecting tea tree pests in complex backgrounds using a hybrid architecture guided by transformers and multi‐scale attention mechanism | |
| Wei et al. | AFTD-Net: real-time anchor-free detection network of threat objects for X-ray baggage screening | |
| Vijay et al. | DV-PSO-Net: A novel deep mutual learning model with Heuristic search using Particle Swarm optimization for Mango leaf disease detection | |
| Grekov et al. | Application of the YOLOv5 Model for the Detection of Microobjects in the Marine Environment | |
| Zhao et al. | Automated Recognition of Conidia of Nematode-Trapping Fungi Based on Improved YOLOv8 | |
| CN112419227B (zh) | 基于小目标搜索缩放技术的水下目标检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |