CN113869246B - 基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法 - Google Patents

Abstract

本发明涉及基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法，与现有技术相比解决了难以针对夏孢子显微图像进行检测的缺陷。本发明包括以下步骤：夏孢子显微图像的获取和预处理；夏孢子检测网络的构建；夏孢子检测网络的训练；待检测夏孢子显微图像的获取；待检测夏孢子显微图像检测结果的获得。本发明能够精准检测并分割出夏孢子显微图像中的夏孢子，且检测速度快。

Description

基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检 测方法

技术领域

本发明属于农业图像处理技术领域，特别涉及一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法。

背景技术

小麦条锈病是由条形柄锈菌(Puccinia striiformis f.sp.tritici)引起，其发病特点分布广、流行性强、危害大。首先在田间出现条锈菌源中心，然后借助气流由发病中心向周边扩散感染，以条锈病原真菌夏孢子在异地越夏和越冬，完成条锈病害的周年循环，并在不同区域往返流行传染。因此，快速准确地检测出田间空气中真菌夏孢子数量，可加强对小麦条锈病的早期预测预报，对于减少经济损失、控制农药滥用、保证粮食安全具有重要意义。

随着计算机视觉技术的发展，国内外学者对真菌孢子识别已经取得了一定的进展。李小龙等对小麦条锈病菌夏孢子显微图像进行基于最近邻插值法的缩放处理、基于K-means聚类算法的分割处理、形态学操作修饰和分水岭分割等处理，实现了夏孢子的自动计数，但当孢子大面积重叠时，算法效率会降低。齐龙等通过分块背景提取法校正光照，根据Canny算子进行边缘检测，利用椭圆度、复杂度和最小外接矩阵宽度等形态学特征进行分类，最后利用距离变换和改进的分水岭算法对粘连孢子进行检测，准确度达到了98.5％，但特征提取过程较复杂。王震等通过提取孢子图像的梯度方向直方图特征(HOG特征)作为输入向量，提出了一种加性交叉核支持向量机(IKSVM)的稻瘟病孢子检测方法，实现了98.2％的检测率，但平均检测耗时需5.5s。

综上研究表明，使用传统机器视觉方法检测孢子，需预先针对孢子图像提取目标特征，然后采用算法进行目标拟合和检测，其特征提取过程较繁杂，费时费力。近年来，随着深度学习算法的不断改进和计算机算力的提高，深度学习在农业领域得到广泛应用。Xinshen Liang等对小麦白粉病孢子采用改进U-Net网络进行图像分割，分割率达到了91.4％。姚青等基于改进CornerNet自动检测方法，实现了对两种稻飞虱检测，平均精确度为95.53％。杨蜀秦等基于改进CenterNet模型对无人机遥感影像的玉米雄蕊识别精度达到了92.4％，检测速度达到了36f/s。目前国内外学者采用深度学习方法检测真菌孢子类的研究较少，大部分研究是基于Anchor(锚框)的农作物和病虫害目标检测，该类方法虽能满足实时检测要求，但需预置锚框的大小、比例，大量的锚框会导致运算复杂度高，影响训练的效率。当前以CornerNet、CenterNet为代表的基于Anchor-Free的模型应用较为广泛，其中，CenterNet模型具有扩展性强、推理速度快以及检测精度高等优点，在快速检测的同时识别准确率高，具有复杂背景下微小夏孢子实时检测识别的潜力。

但是在显微图像中小麦条锈病菌夏孢子自动检测存在严重的误检和漏检，如图2所示，其也是由于夏孢子外形特点所决定，夏孢子外形似椭圆，个体小且大小不一；同时，夏孢子相互粘连现象严重；再者由于涂抹凡士林出现的晶体状杂质和空气中灰尘影响，图像中存在晶体状杂质和灰尘，使得在夏孢子显微图像中真菌孢子自动检测增加了难度。

因此，如何开发出一种针对于小麦条锈病菌夏孢子显微图像检测方法已经成为亟待解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中难以针对夏孢子显微图像进行检测的缺陷，提供一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法，包括以下步骤：

夏孢子显微图像的获取和预处理：获取采集到的已进行椭圆框人工标注后的夏孢子显微图像，经过预处理步骤，得到标注数据格式为bbox[x,y,2a,2b,angle]，其中，x和y为椭圆中心点坐标，2a和2b为长短轴长度，angle为长轴相对于X轴正方向所成的角度，范围是0-180°；

夏孢子检测网络的构建：基于改进CenterNet构建夏孢子检测网络；

夏孢子检测网络的训练：将预处理后的夏孢子显微图像输入夏孢子检测网络进行训练，得到训练后的夏孢子检测网络；

待检测夏孢子显微图像的获取：获取待检测的夏孢子显微图像；

待检测夏孢子显微图像检测结果的获得：将待检测的夏孢子显微图像输入到训练后的夏孢子检测网络，输出夏孢子检测信息，即夏孢子中心点、长短轴和旋转角度，检测定位出显微图像中的小麦条锈病菌夏孢子。

所述夏孢子检测网络的构建包括以下步骤：

构建夏孢子检测网络：基于CenterNet模型构建Resnet10作为改进CenterNet框架下的特征提取网络，设定Resnet10为改进CenterNet模型的特征提取网络结构，层数为4个，Layer1为一个Basic Block，在Layer1中，步长均为1，Layer2-Layer4后均有一个步长为2、卷积核为1×1的下采样卷积；下采样后的特征图再经过上采样得到高分辨率的特征图，最后使用四个预测头得出目标的中心、中心偏置、长短轴和角度；

设定损失函数计算：设定改进CenterNet模型的损失函数L_det由4项组成：热力图损失、物体长短轴损失、中心偏置损失和角度损失，其公式如下：

L_det＝λ_heatmap L_heatmap+λ_ab L_ab+λ_offset L_offset+λ_ang L_ang， (1)

式中，λ_heatmap为热图损失系数，L_heatmap为热图损失，λ_ab为长短轴损失系数，L_ab为长短轴损失，λ_offset为中心偏置损失系数，L_offset为中心偏置损失，λ_ang为角度损失系数，L_ang为角度损失；

对于孢子的长短轴损失λ_ab和角度损失λ_ang取值0.1，λ系数均取1；

L_heatmap损失使用下式(2)改进的Focal loss损失，其中α和β是超参数，分别为2和4；

式中，N为图片中关键点的数量，

为预测像素点(x,y)孢子的置信度；

经下采样后，对每个中心点添加一个偏移损失L_offset，L_offset损失使用下式(3)的L1损失，

式中，N为关键点数量，R为下采样倍数，

为预测中心点，p为真实的中心点，

为预测的中心点偏置；

长短轴损失和角度损失采用下式(4)的L1损失，定义为

式中，

为网络预测的长短轴或角度，s_k为检测框的长短轴或角度；

热图高斯核半径计算：使用6种方式将孢子的椭圆框映射成矩形框，再通过公式(6)-(9)间接计算出最小的高斯核半径r，然后将椭圆框中心点的关键信息散射到高斯核半径为r的热图上，其公式如下：

r＝min(r₁,r₂,r₃) (6)

式中，overlap为真实框与标注框最小重叠度，取0.7，W为矩形框长，H为矩形框宽；

通过公式(10)将目标标注框中心点的关键信息散射到高斯核半径为r的热图上，使得关键点的检测转换成可进行全卷积的热图，最后通过使用4个预测头计算热图、偏置和长宽信息，得出预测结果Y_xyc，

式中，(x,y)为图中每个点的坐标，

为孢子中心坐标，σ_p为标准差，

为热图的标签，越接近中心点的位置，这个值越大；W、H为图像宽高、R为图像的下采样率、C为类别数。

所述夏孢子检测网络的训练包括以下步骤：

设置训练参数：设定样本批尺寸batch size为8，训练过程采用自适应估计方法进行优化，训练共20个迭代周期，训练学习率设为1.25×10^-4，权重衰减设为0.0001；

改进CenterNet模型及损失函数的训练：

将预处理后的夏孢子显微图像输入夏孢子检测网络的Resnet10，获取待检测特征图；对待检测特征图进行卷积、激活操作，计算图像的热力图，得到夏孢子图像中各个孢子目标的中心点，并通过回归训练计算得到图像中孢子目标长短轴和旋转角度，根据夏孢子目标中心点、长短轴和旋转角度确定夏孢子目标检测框；

其中网络总损失函数采用

L_det＝λ_heatmap L_heatmap+λ_ab L_ab+λ_offset L_offset+λ_ang L_ang，获得夏孢子检测网络，其中L_heatmap、L_ab、L_offset、L_ang分别为夏孢子热图损失、长短轴损失、中心点偏置损失和夏孢子椭圆框角度损失，λ_heatmap、λ_ab、λ_offset、λ_ang分别为L_heatmap、L_ab、L_offset、L_ang对应权重；所述权重λ_heatmap、λ_offset取值为1，λ_ab、λ_ang取值为0.1；

夏孢子检测信息输出：当输入固定尺度的夏孢子检测图片时，输出夏孢子检测信息，即夏孢子中心点、长短轴和旋转角度。

有益效果

本发明的一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法，与现有技术相比能够精准检测并分割出夏孢子显微图像中的夏孢子，且检测速度快。

本发明优化特征提取网络提取目标特征，减少网络参数防止过拟合，同时改进CenterNet检测框为带角度的椭圆框以增强分割重叠度，提出一种基于改进CenterNet模型的小麦条锈病菌夏孢子自动检测方法。本发明所述方法对小麦条锈病菌夏孢子检测的识别精度达到了98.77％，重叠度为83.63％，检测速度为41fps，达到了实时检测的应用需求。

附图说明

图1为本发明的方法顺序图；

图2为夏孢子显微数据采集图；

图3为基于改进CenterNet的小麦条锈病菌夏孢子自动检测方法网络结构图；

图4为Resnet10特征提取网络结构图；

图5、图6和图7均为利用本发明所述方法的夏孢子显微图像检测效果图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法，包括以下步骤：

第一步，夏孢子显微图像的获取和预处理。获取采集到的已进行椭圆框人工标注后的夏孢子显微图像，经过预处理步骤，得到标注数据格式为bbox[x,y,2a,2b,angle]，其中，x和y为椭圆中心点坐标，2a和2b为长短轴长度，angle为长轴相对于X轴正方向所成的角度，范围是0-180°。

在实验室阶段，将标注数据的图片、json标签数据按照8：2比例划分标注数据，其中预留部分作为测试集，剩下的80％为训练集、20％为验证集。另外，使用via2.0标注工具的VGGImageAnnotator的椭圆框标注夏孢子图像，得到初始的COCO格式标注数据，改进CenterNet网络的数据标注过程使用椭圆标注，得到的标注数据格式为外切矩形框的左上角坐标、长和宽和椭圆框的72组边界点坐标。根据左上角坐标和长宽计算出椭圆框的中心点坐标，通过72组边界点坐标计算出椭圆框的长短轴和旋转角度，得到的预处理标注数据格式为bbox[x,y,2a,2b,angle]。x和y为椭圆中心点坐标，2a和2b为长短轴长度，angle为长轴相对于X轴正方向所成的角度，范围是0-180°。

第二步，夏孢子检测网络的构建：基于改进CenterNet构建夏孢子检测网络。夏孢子形态学特征为近椭圆或圆形，且孢子易粘连在一起，使用传统机器视觉方法进行粘连分割难度较大。基于此，本发明选择CenterNet模型作为孢子自动检测方法的研究。

CenterNet是无锚框模型目标检测算法的典型代表，与CornerNe(检测左上角点和右下角点)和ExtremeNet(检测最上、最下、最左、最右、中心点)类似，CenterNet通过检测物体的中心点和长宽来确定检测框的位置大小。模型结构主要包括特征提取网络和预测头两个模块。第一模块的特征提取网络负责提取特征生成特征图，第二模块的预测头部分用来预测目标的热图、中心点偏置和预测框的长宽。CenterNet模型将目标检测问题转化为检测目标中心点问题，检测时通过特征提取网络输出的特征图经过检测头得出检测目标的中心点位置，并通过偏置量微调中心点的位置，使预测的中心点位置更加准确。

直接将原始CenterNet模型用于检测小麦条锈病菌夏孢子图像，易出现目标孢子的误检和漏检问题。针对误检问题，本发明采用简化网络结构的方式构建了参数更少的特征提取网络Resnet10，减少模型的过拟合，降低了误检率；针对漏检问题，将原始的矩形检测框改进为带角度的椭圆检测框，同时，使用映射矩形计算出热图的高斯核半径，减少检测框中的无效背景，提高了模型检测的精确率与分割度。

特征提取网络是目标检测中的重要一环，目标检测模型的检测精度、速度等直接受到特征提取网络的影响。原始CenterNet模型的特征提取网络有很多，一般选择Hourglass Net、DLANet或Resnet等。这些网络主要用于提取输入图像的特征。由于夏孢子显微图像的数据集数量不够庞大，且显微图像中有夏孢子目标大小较微小，孢子种类较少的特点，若使用结构参数量较大的Hourglass Net和DLANet网络提取特征，易导致模型过拟合；基于此，本研究基于Resnet网络结构，构建了参数更少的Resnet10网络作为改进CenterNet模型的特征提取网络结构，以降低夏孢子检测模型的过拟合。

如图3和图4所示，夏孢子检测网络的构建的具体步骤如下：

(1)构建夏孢子检测网络：基于CenterNet模型构建Resnet10作为改进CenterNet框架下的特征提取网络，设定Resnet10为改进CenterNet模型的特征提取网络结构，层数为4个，Layer1为一个Basic Block，在Layer1中，步长均为1，Layer2-Layer4后均有一个步长为2、卷积核为1×1的下采样卷积；下采样后的特征图再经过上采样得到高分辨率的特征图，最后使用四个预测头得出目标的中心、中心偏置、长短轴和角度。

(2)由于需要检测孢子的角度，在原始CenterNet损失函数的基础上，需添加角度损失L_ang进行训练。设定损失函数计算：设定改进CenterNet模型的损失函数由4项组成：热力图损失、物体长短轴损失、中心偏置损失和角度损失，其公式如下：

L_det＝λ_heatmap L_heatmap+λ_ab L_ab+λ_offset L_offset+λ_ang L_ang， (1)

式中，λ_heatmap为热图损失系数，L_heatmap为热图损失，λ_ab为长短轴损失系数，L_ab为长短轴损失，λ_offset为中心偏置损失系数，L_offset为中心偏置损失，λ_ang为角度损失系数，L_ang为角度损失；

对于孢子的长短轴损失λ_ab和角度损失λ_ang取值0.1，λ系数均取1；

L_heatmap损失使用下式(2)改进的Focal loss损失，其中α和β是超参数，分别为2和4；

式中，N为图片中关键点的数量，

为预测像素点(x,y)孢子的置信度；

经下采样后，对每个中心点添加一个偏移损失L_offset，L_offset损失使用下式(3)的L1损失，

式中，N为关键点数量，R为下采样倍数，

为预测中心点，p为真实的中心点，

—预测的中心点偏置；

长短轴损失和角度损失亦采用下式(4)的L1损失，定义为

式中，

为网络预测的长短轴或角度，s_k为检测框的长短轴或角度。

(3)热图高斯核半径计算。

原始Centernet模型训练过程中预测后的矩形框与人工标注的矩形框一般会出现3种位置关系，3种预测框均能很好的包围目标。所以，为了能得到效果好的预测框，需准确的计算出3种预测框中半径r(即高斯核半径)。Heatmap热图，起初在人体关键点检测任务中得到应用，后来在目标检测任务中表现出很好的性能。在CenterNet模型中，可通过式(5)将目标标注框中心点的关键信息散射到高斯核半径为r的热图上，使得关键点的检测转换成可进行全卷积的热图，最后通过热图、偏置和长宽信息得到预测结果。

使用6种方式将孢子的椭圆框映射成矩形框，再通过公式(6)-(9)间接计算出最小的高斯核半径r，然后将椭圆框中心点的关键信息散射到高斯核半径为r的热图上，其公式如下：

r＝min(r₁,r₂,r₃) (6)

式中，overlap为真实框与标注框最小重叠度，取0.7，W为矩形框长，H为矩形框宽。

(4)通过公式(10)将目标标注框中心点的关键信息散射到高斯核半径为r的热图上，使得关键点的检测转换成可进行全卷积的热图，最后通过使用4个预测头计算热图、偏置和长宽信息，得出预测结果Y_xyc，

式中，(x,y)为图中每个点的坐标，

为孢子中心坐标，σ_p为标准差，

为热图的标签，越接近中心点的位置，这个值越大；W、H为图像宽高、R为图像的下采样率、C为类别数。

第三步，夏孢子检测网络的训练：将预处理后的夏孢子显微图像输入夏孢子检测网络进行训练，得到训练后的夏孢子检测网络。

在实验室环境下，所有网络均在同一硬件环境下训练，操作系统为Windows10，处理器为AMD 3700X，显卡为1块GPU1080Ti，显存大小11GB。训练使用Pytorch1.6深度学习框架，图片张数为21420张，18000张作为训练和验证集，按照8：2划分，剩余图片作为测试集。训练使用的样本批尺寸(batch size)为8，训练过程采用自适应估计(Adaptive momentestimation,Adam)方法进行优化。训练共20个迭代周期(epoch)，每个周期迭代14400/8次，共计迭代3.6×10⁵次。训练学习率设为1.25×10^-4，权重衰减设为0.0001。

其具体步骤如下：

(1)设置训练参数：设定样本批尺寸batch size为8，训练过程采用自适应估计方法进行优化，训练共20个迭代周期，训练学习率设为1.25×10^-4，权重衰减设为0.0001；

(2)改进CenterNet模型及损失函数的训练：

将预处理后的夏孢子显微图像输入夏孢子检测网络的Resnet10，获取待检测特征图；对待检测特征图进行卷积、激活操作，计算图像的热力图，得到夏孢子图像中各个孢子目标的中心点，并通过回归训练计算得到图像中孢子目标长短轴和旋转角度，根据夏孢子目标中心点、长短轴和旋转角度确定夏孢子目标检测框；

其中网络总损失函数采用

L_det＝λ_heatmap L_heatmap+λ_ab L_ab+λ_offset L_offset+λ_ang L_ang，获得夏孢子检测网络，其中L_heatmap、L_ab、L_offset、L_ang分别为夏孢子热图损失、长短轴损失、中心点偏置损失和夏孢子椭圆框角度损失，λ_heatmap、λ_ab、λ_offset、λ_ang分别为L_heatmap、L_ab、L_offset、L_ang对应权重；所述权重λ_heatmap、λ_offset取值为1，λ_ab、λ_ang取值为0.1；

(3)夏孢子检测信息输出：当输入固定尺度的夏孢子检测图片时，输出夏孢子检测信息，即夏孢子中心点、长短轴和旋转角度。

第四步，待检测夏孢子显微图像的获取：获取待检测的夏孢子显微图像。

第五步，待检测夏孢子显微图像检测结果的获得：将待检测的夏孢子显微图像输入到训练后的夏孢子检测网络，输出夏孢子检测信息，即夏孢子中心点、长短轴和旋转角度，检测定位出显微图像中的小麦条锈病菌夏孢子。

使用同一数据集分别使用不同特征提取网络和不同椭圆映射矩形，在相同模型训练环境和方法下进行相同批次训练，特征提取网络分别使用Resnet10、Resnet18、Resnet34和Resnet50，使用椭圆映射矩形进行对比实验，实验对比结果如表1和表2所示。

表1不同特征提取网络的准确率和召回率对比表

表2不同特征提取网络的F1值和分割率对比表

从表1和表2中可看出，随着特征提取网络层数的增多，孢子的检测指标并未一直减小，使用Resnet34作为特征提取网络的模型综合性能最差。当使用结构简单的Resnet10特征提取网络检测孢子图像，识别准确率未受到影响，网络的训练速度反而更快。使用R1、R2、R3、R4映射矩形计算高斯核半径时，Resnet10的准确率与Resnet18、Resnet50接近，平均准确率优于Resnet34模型0.40％。特征提取网络使用Resnet10网络时，高斯核半径计算方法使用R1和R4矩形的检测准确率较高，与R5矩形和R6矩形相比，检测精度提高0.56％～1.26％。使用R4映射矩形计算高斯半径时(特征提取网络使用Resnet10网络)，取得的分割效果最好，优于Resnet34(使用R2映射矩形)方法2.47％，与Resnet50网络相近，但训练速率更快。因此，本发明选择Resnet10网络作为改进CenterNet模型的特征提取网络，高斯核半径使用R4映射矩形计算，能够使用更少的参数训练网络，加快训练速率，并得到很好的检测效果。

在相同条件下，分别使用原始CenterNet模型(特征提取网络使用Resnet50)与改进CenterNet模型(高斯核半径计算使用R4矩形)模型进行训练，实验对比数据如表3所示。

表3两种算法对不同密度孢子的检测结果对比

Table 3 Comparison of detection results of two algorithms for sporeswith different densities

从表3可以看出，随着孢子数量的增多，原始CenterNet算法和改进CenterNet算法的准确率和召回率均减小。当孢子数量在10-30时，原始CenterNet算法的准确率下降了3.14％，召回率下降了5.08％。改进CenterNet算法的准确率下降了2.57％，召回率下降了3.62％。随着孢子数量的增多，原始CenterNet算法容易受粘连孢子的影响导致多孢一框及漏检的现象，对粘连孢子的检测精度明显下降。而改进CenterNet算法使用椭圆框分割孢子，减少了检测框中的无效背景，能够预测更精确的检测框，在粘连孢子的检测上取得了较好的检测效果。改进CenterNet模型的识别精度达到了98.77％，重叠度为83.63％，检测速度为41fps，与原始的CenterNet模型相比，识别精度提高0.23％，重叠度提高7.53％，检测速度加快11fps。此外，同等条件下，以Resnet10作为特征提取网络的改进CenterNet模型大小是原始CenterNet模型的31.5％，更易于部署到服务器或远程设备上。因此，本发明提出的改进CenterNet模型，能够满足小麦条锈病菌夏孢子自动检测的应用要求，与原始CenterNet模型相比，在同等条件下，改进CenterNet模型能够取得更高的识别精度和更快的检测速度，并获得更高的分割率，减少误检率和漏检率。

如图5、图6和图7所示，在孢子数量较少的情况下，本发明所述方法能检测出所有孢子。当孢子数目增多到10个以上时，由于孢子的密度增大、孢子粘连与重叠增加了模型识别的难度。但是由于改进CenterNet模型的检测框是带角度的椭圆框，更加贴合孢子的形状，在框中出现的背景更少，可显著地关注孢子区域，并减少背景区域。在孢子密度增大的情况下，依然能够很好地检测出所有的孢子。在保证检测精准率的前提下，获得更高的孢子检测分割率。因此，本发明使用的改进CenterNet模型的椭圆框检测方法效果优于传统方法，出现误检和漏检的概率更低。

本发明为解决小麦条锈病菌夏孢子自动检测存在严重的误检和漏检问题，以实现快速、准确地检测真菌夏孢子，根据孢子形态学特点，从特征提取网络、检测框和热图高斯核半径计算三个方面改进了CenterNet模型。首先基于Resnet18网络，减半网络中的BasicBlock层数，构建孢子特征提取网络Resnet10，其次将CenterNet模型的矩形检测框改进为带角度的椭圆检测框以增强分割重叠度，最后使用椭圆映射矩形计算出热图的高斯核半径。在测试集上的实验表明，改进后的CenterNet模型的识别精度达到了98.77％，重叠度为83.63％，检测速度为41fps，达到了实时检测的应用需求，比原始CenterNet模型平均重叠度提高了7.53％，检测速度快了11FPS，模型大小降低了68.5％，使得改进模型更易于部署到服务器或者远程设备上。因此，本发明提出的基于改进CenterNet的真菌孢子检测模型可以为小麦条锈病病害检测提供一种有效的方法支持。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (2)

1.一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法，其特征在于，包括以下步骤：

11)夏孢子显微图像的获取和预处理：获取采集到的已进行椭圆框人工标注后的夏孢子显微图像，经过预处理步骤，得到标注数据格式为bbox[x,y,2a,2b,angle]，其中，x和y为椭圆中心点坐标，2a和2b为长短轴长度，angle为长轴相对于X轴正方向所成的角度，范围是0-180°；

12)夏孢子检测网络的构建：基于改进CenterNet构建夏孢子检测网络；所述夏孢子检测网络的构建包括以下步骤：

121)构建夏孢子检测网络：基于CenterNet模型构建Resnet10作为改进CenterNet框架下的特征提取网络，设定Resnet10为改进CenterNet模型的特征提取网络结构，层数为4个，层1为一个基础块，在层1中，步长均为1，层2-层4后均有一个步长为2、卷积核为1×1的下采样卷积；下采样后的特征图再经过上采样得到高分辨率的特征图，最后使用四个预测头得出目标的中心、中心偏置、长短轴和角度；

122)设定损失函数计算：设定改进CenterNet模型的损失函数L_det由4项组成：热力图损失、物体长短轴损失、中心偏置损失和角度损失，其公式如下：

L_det＝λ_heatmapL_heatmap+λ_abL_ab+λ_offsetL_offset+λ_angL_ang， (1)

式中，λ_heatmap为热图损失系数，L_heatmap为热图损失，λ_ab为长短轴损失系数，L_ab为长短轴损失，λ_offset为中心偏置损失系数，L_offset为中心偏置损失，λ_ang为角度损失系数，L_ang为角度损失；

对于孢子的长短轴损失λ_ab和角度损失λ_ang取值0.1，λ_heatmap和λ_offset均取1；

L_heatmap损失使用下式(2)改进的Focal loss损失，其中α和β是超参数，分别为2和4；

式中，N为图片中关键点的数量，

为预测像素点(x,y)孢子的置信度；

经下采样后，对每个中心点添加一个偏移损失L_offset，L_offset损失使用下式(3)的平均绝对值误差损失，

式中，N为关键点数量，R为下采样倍数，

为预测中心点，p为真实的中心点，

为预测的中心点偏置；

长短轴损失和角度损失采用下式(4)的L1损失，定义为

式中，

为网络预测的长短轴或角度，s_k为检测框的长短轴或角度；

123)热图高斯核半径计算：使用6种方式将孢子的椭圆框映射成矩形框，再通过公式(6)-(9)间接计算出最小的高斯核半径r，然后将椭圆框中心点的关键信息散射到高斯核半径为r的热图上，其公式如下：

r＝min(r₁,r₂,r₃) (6)

式中，overlap为真实框与标注框最小重叠度，取0.7，W为矩形框长，H为矩形框宽；

124)通过公式(10)将目标标注框中心点的关键信息散射到高斯核半径为r的热图上，使得关键点的检测转换成可进行全卷积的热图，最后通过使用4个预测头计算热图、偏置和长宽信息，得出预测结果Y_xyc，

式中，(x,y)为图中每个点的坐标，

为孢子中心坐标，σ_p为标准差，

为热图的标签，越接近中心点的位置，这个值越大；W、H为图像宽高、R为图像的下采样倍数、C为类别数；

13)夏孢子检测网络的训练：将预处理后的夏孢子显微图像输入夏孢子检测网络进行训练，得到训练后的夏孢子检测网络；

14)待检测夏孢子显微图像的获取：获取待检测的夏孢子显微图像；

15)待检测夏孢子显微图像检测结果的获得：将待检测的夏孢子显微图像输入到训练后的夏孢子检测网络，输出夏孢子检测信息，即夏孢子中心点、长短轴和旋转角度，检测定位出显微图像中的小麦条锈病菌夏孢子。

2.根据权利要求1所述的基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法，其特征在于，所述夏孢子检测网络的训练包括以下步骤：

21)设置训练参数：设定样本批尺寸为8，训练过程采用自适应估计方法进行优化，训练共20个迭代周期，训练学习率设为1.25×10^-4，权重衰减设为0.0001；

22)改进CenterNet模型及损失函数的训练：

将预处理后的夏孢子显微图像输入夏孢子检测网络的Resnet10，获取待检测特征图；对待检测特征图进行卷积、激活操作，计算图像的热力图，得到夏孢子图像中各个孢子目标的中心点，并通过回归训练计算得到图像中孢子目标长短轴和旋转角度，根据夏孢子目标中心点、长短轴和旋转角度确定夏孢子目标检测框；

其中网络总损失函数采用

L_det＝λ_heatmapL_heatmap+λ_abL_ab+λ_offsetL_offset+λ_angL_ang，获得夏孢子检测网络，其中L_heatmap、L_ab、L_offset、L_ang分别为夏孢子热图损失、长短轴损失、中心点偏置损失和夏孢子椭圆框角度损失，λ_heatmap、λ_ab、λ_offset、λ_ang分别为L_heatmap、L_ab、L_offset、L_ang对应损失系数；所述权重λ_heatmap、λ_offset取值为1，λ_ab、λ_ang取值为0.1；

23)夏孢子检测信息输出：当输入固定尺度的夏孢子检测图片时，输出夏孢子检测信息，即夏孢子中心点、长短轴和旋转角度。

Images