CN115115887A - 基于TSD-Faster RCNN的农作物害虫检测方法及其网络 - Google Patents

Abstract

本发明公开了一种基于TSD‑Faster RCNN的农作物害虫检测方法及其网络，方法包括以下步骤：S1：将农作物害虫检测图像输入到主干网络以生成图像的特征图；S2：将生成的特征图经骨干网络再处理后输出至区域提案网络RPN和区域卷积神经网络R‑CNN中；S3：在区域提案网络RPN中，使用结构感知距离TSD计算预测锚框和真实锚框的相似度，使用分段结构感知损失函数TSD Loss计算回归损失，RPN返回粗糙的候选框至R‑CNN中；S4：使用R‑CNN将所有候选框修改为相同大小，候选框被传递到全连接层以对对象进行分类并预测边界框。本发明能够提升对于小目标害虫的检测精度，以满足对于害虫的智能防治的需求。

Description

基于TSD-Faster RCNN的农作物害虫检测方法及其网络

技术领域

本发明涉及农作物害虫检测技术领域，特别是涉及一种基于TSD-Faster RCNN的农作物害虫检测方法及其网络。

背景技术

众所周知，农业生产受到了农作物害虫侵蚀的极大制约，给全球农业经济带来了极大损失。因此，对于害虫的智能检测与信息化防治变得格外重要。而由于害虫数量繁多、外观相似难以辨别，害虫识别主要依靠于农业专家的丰富经验和专业知识，耗时耗力，难以满足全国范围内的大面积害虫检测、识别、预警和绿色生产的需要。随着智慧农业和精细农业的发展，做好农作物害虫的信息化防治必不可少。

传统上，识别害虫的种群信息，主要依靠于农技人员的经验鉴别，一方面，由于底层工作的繁重与辛苦，从事此行业的技术人员越来越少；另一方面，过度依赖人工经验，存在主观上的局限性和工作上的低效性，难以满足大范围内害虫高效智能检测的需要。

而随着深度学习的发展，逐渐被广泛应用于许多视觉任务，尤其是目标检测相关的视觉任务，它在许多工作上实现了最先进的性能。由于其优异的性能，大多数研究者更加重视深度学习，并将其引入到农作物害虫图像的识别与检测中，这使得对于农作物害虫检测的高效智能化成为可能。尽管如此，针对害虫的目标检测方法仍然面临不少难以忽略的挑战：

(1)可利用特征少：由于害虫的尺寸很小，在进行特征提取时，随着CNN层数的增加，往往会导致目标特征信息逐层减弱，难以提取到富有鉴别力的特征，并且在多层网络的背景下，还可能造成对于部分目标的漏检；

(2)定位精度要求高：由于害虫在图像中面积占比小，因此对于其边界框的定位难度比常规尺度目标的定位难度更大。此外，在基于锚框的检测器中，训练时匹配小目标的锚框数量远低于常规尺度的目标，这也在某种程度上导致了小目标害虫更加难以被检测出来；

(3)小目标聚集现象：首先由于害虫的习性，在捕捉装置下，极易聚集在一起，其次，聚集区域相邻的害虫经过多次卷积操作后，映射到后层的特征图上将聚合成一个点，导致检测模型无法进行有效区分。当同类小目标密集出现时，预测的边界框还可能会因后处理的非极大值抑制(Non-Maximum Suppression，NMS)将大量正确预测的边界框过滤，从而导致漏检情况。另外，聚集区域的小目标之间边界框距离过近，还将导致边界框难以回归，模型难以收敛。

因此亟需提供一种新型的基于TSD-Faster RCNN的农作物害虫检测方法及其网络来解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种TSD-Faster RCNN的农作物害虫检测方法及其网络，能够提升对于小目标害虫的检测精度，以满足对于害虫的智能防治的需求。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于TSD-FasterRCNN的农作物害虫检测方法，包括以下步骤：

S1：将农作物害虫检测图像输入到主干网络以生成图像的特征图；

S2：将生成的特征图经骨干网络再处理后输出至区域提案网络RPN和区域卷积神经网络R-CNN中，所述骨干网络采用主干网络与特征金字塔网络FPN相结合；

S3：在区域提案网络RPN中，使用结构感知距离TSD计算预测锚框和真实锚框的相似度，使用分段结构感知损失函数TSD Loss计算回归损失，RPN返回粗糙的候选框至R-CNN中；

S4：使用R-CNN将所有候选框修改为相同大小，候选框被传递到全连接层以对对象进行分类并预测边界框。

在本发明一个较佳实施例中，所述结构感知距离TSD衡量锚框之间的相似度：

其中，D_Chess(b，b^gt)＝max(|x₁-x₂|，|y₁-y₂|)代指两个锚框中心点(x₁，y₁)和(x₂，y₂)的切比雪夫距离，S代指数据集所有标注框的平均面积。

在本发明一个较佳实施例中，所述分段结构感知损失函数TSD Loss为：

其中，D_Chess(b，b^gt)＝max(|x₁-x₂|，|y₁-y₂D代指两个锚框中心点之间的切比雪夫距离，S指代数据集所有标注框的平均面积，r₁和r₂分别指代两个锚框外接圆的半径，此外，根据余弦定理：

Separated代表两个锚框相离，intersect代表两个锚框相交，contain代表两个锚框相互包含。

在本发明一个较佳实施例中，所述骨干网络包括自底向上连接、自顶向下连接和水平连接三部分，自顶向下连接采用最近邻上采样，水平连接将上采样结果与自下而上过程生成的特征图融合。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于TSD-Faster RCNN的农作物害虫检测网络，包括：

主干网络，用于提取农作物害虫检测图像的特征，生成输入图像的特征图；

骨干网络，用于对生成的特征图进行再处理，并输出至区域提案网络RPN和区域卷积神经网络R-CNN中；

区域提案网络，用于使用结构感知距离TSD计算预测锚框和真实锚框的相似度，使用分段结构感知损失函数TSD Loss计算回归损失，并返回粗糙的候选框至R-CNN中；

区域卷积神经网络，用于将所有候选框修改为相同大小的候选框，并传递到全连接层以对对象进行分类并预测边界框。

在本发明一个较佳实施例中，所述主干网络采用残差网络ResNet或mobileNet或VGG或darkNet或efficientNet。

在本发明一个较佳实施例中，所述骨干网络采用主干网络与特征金字塔网络FPN相结合。

进一步的，所述骨干网络包括自底向上连接、自顶向下连接和水平连接三部分，自顶向下连接采用最近邻上采样，水平连接将上采样结果与自下而上过程生成的特征图融合。

在本发明一个较佳实施例中，所述结构感知距离TSD衡量锚框之间的相似度：

其中，D_Chess(b，b^gt)＝max(|x₁-x₂|，|y₁-y₂|)代指两个锚框中心点(x₁，y₁)和(x₂，y₂)的切比雪夫距离，S代指数据集所有标注框的平均面积。

在本发明一个较佳实施例中，所述分段结构感知损失函数TSD Loss为：

其中，D_Chess(b，b^gt)＝max(|x₁-x₂|，|y₁-y₂|)代指两个锚框中心点之间的切比雪夫距离，S指代数据集所有标注框的平均面积，r₁和r₂分别指代两个锚框外接圆的半径，此外，根据余弦定理：

Separated代表两个锚框相离，intersect代表两个锚框相交，contain代表两个锚框相互包含。

本发明的有益效果是：

(1)本发明提供了一个智能的害虫检测框架，针对害虫目标小、易聚集的特征进行了优化与调整，可以对害虫进行自动智能检测与分类，提升了对于小目标害虫的检测精度，实现对于农作物虫害的智能防治，为智慧农业绿色农业的实现提供了可能；

(2)本发明还提出了两个适用于任何网络结构的检测方法，利用TSD更准确地衡量目标锚框间的相似度，TSD Loss更准确地减小误差，优化了训练过程，获得更加优越的检测成果。

附图说明

图1是本发明基于TSD-Faster RCNN的农作物害虫检测网络的结构示意图；

图2是所述TSD Loss的图形化描述示意图；

图3是所述基于TSD-Faster RCNN的农作物害虫检测方法的流程图；

图4是本发明所述方法与ground-truth、基于IoU的Faster R-CNN在Pest24数据集上的可视化对比实验图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，本发明实施例包括：

一种基于TSD-Faster RCNN的农作物害虫检测网络，包括主干网络、骨干网络、区域提案网络、区域卷积神经网络。

所述主干网络，用于提取农作物害虫检测图像的特征，生成输入图像的特征图；所述主干网络可采用残差网络ResNet或mobileNet或VGG或darkNet或efficientNet等，本示例中，所述主干网络采用残差网络ResNet。

所述骨干网络，用于对生成的特征图进行再处理，并输出至区域提案网络RPN和区域卷积神经网络R-CNN中；所述骨干网络采用主干网络与特征金字塔网络FPN相结合，本示例中，所述骨干网络采用残差网络ResNet与特征金字塔网络FPN相结合，特征金字塔网络(FPN)是一种优异的多尺度检测方法，也是一种通用架构，可以与各种骨干网络结合使用。

在所述ResNet-FPN结构中，包含自底向上连接、自顶向下连接和水平连接三部分：

(1)自底向上：具体来说，根据特征图的大小，ResNet作为主干网络分为五个阶段：Stage2、Stage3、Stage4、Stage5。每个stage在其最后一层输出Conv2、Conv3、Conv4和Conv5，这些输出层定义为C₂，C₃，C₄，C₅，这是一个简单的特征提取过程。

(2)自顶向下：上采样从最高层开始，本示例中，上采样过程中使用了最近邻上采样。

(3)水平连接：上采样结果与自下而上过程生成的特征图融合，融合后的特征经过卷积核处理，消除上采样的混叠效应。

除此之外，将特征{P₂，P₃，P₄，P₅，P₆}作为RPN(Region Proposal Network，区域提案网络)的输入，将特征{P₂，P₃，P₄，P₅}作为R-CNN(Region-CNN，区域卷积神经网络)的输入，这种结构可以融合各个层次的特征，使其同时具有深度语义信息和空间结构信息。

所述区域提案网络，用于使用结构感知距离TSD计算预测锚框和真实锚框的相似度，使用分段结构感知损失函数TSD Loss计算回归损失，并返回粗糙的候选框至R-CNN中。

本发明提出了一种新的度量尺度(Truncated Structural-Aware Distance，TSD)，来计算两个锚框之间的距离，即，衡量锚框之间的相似度：

其中，D_Chess(b，b^gt)＝max(|x₁-x₂|，|y₁-y₂|)代指两个锚框中心点(x₁，y₁))和(x₂，y₂)的切比雪夫距离，S代指数据集所有标注框的平均面积。

所提出的TSD使用标准化切比雪夫距离来描述两个锚框的距离，取值范围是(-∞，1]，当两个锚框中心点互相重合时，TSD取得最大值1；当两个中心点逐渐远离时，TSD值也越来越趋近于-∞。TSD将关注点放在了两个中心点的标准化切比雪夫距离上，它在一定程度上表示了两个中心点之间的距离与平均边长

的比值，这种度量方法更适合总尺寸小于32像素的小目标物体。

结合上述TSD衡量尺度，本发明还提出了一个新的回归损失函数：分段结构感知损失函数(Truncated Structural Aware Distance Loss，TSD loss)，它的定义为：

其中，D_chess(b，b^gt)＝max(x₁-x₂|，|y₁-y₂|)代指两个锚框中心点之间的切比雪夫距离，S指代数据集所有标注框的平均面积，r₁和r₂分别指代两个锚框外接圆的半径，此外，根据余弦定理：

TSD Loss的图形化描述如图2所示。

如图2(a)，Separated代表两个锚框相离，两个中心点之间的距离在回归损失的计算中起着重要作用。距离越短，两个边界框的区别就越小。如图2(b)，intersect代表两个锚框相交，余弦相似度用于描述两个边界框之间的重合度。θ越小，两个边界框的重合度就越高。如图2(c)，contain代表两个锚框相互包含，r₁和r₂的区别可以被视为两个锚框的拟合程度。

将X指代为每段函数的自变量，上式可以写作另一种形式：

对X求偏导有：

可知，当两个锚框相交或相互包含时，到x的梯度会很小，它们的取值范围是[-1，1]和(0，1]，当两个锚框相离时，到x的梯度上限为1，也不会大到破坏网络参数。

害虫目标的位置偏差需要更准确的损失计算。因此，根据不同的结构关系，使用所述TSD Loss计算回归损失更适合小物体。

所述区域卷积神经网络，用于使用RolAlign层将所有候选框修改为相同大小的候选框，并传递到全连接层以对对象进行分类并预测边界框，如图1所示，cls_pred表示分类结果，bbox_pred表示回归结果。

参阅图3，本发明示例中还提供了一种基于TSD-Faster RCNN的农作物害虫检测方法，包括以下步骤：

S1：将农作物害虫检测图像输入到主干网络以生成图像的特征图，所述主干网络采用残差网络ResNet；

S2：将生成的特征图经骨干网络再处理后输出至区域提案网络RPN和区域卷积神经网络R-CNN中，所述骨干网络采用残差网络ResNet与特征金字塔网络FPN相结合；

S3：在区域提案网络RPN中，使用结构感知距离TSD计算预测锚框和真实锚框的相似度，使用分段结构感知损失函数TSD Loss计算回归损失，RPN返回粗糙的候选框至R-CNN中；

S4：使用R-CNN将所有候选框修改为相同大小，候选框被传递到全连接层以对对象进行分类并预测边界框。

进一步的，所述结构感知距离TSD衡量锚框之间的相似度：

其中，D_Chess(b，b^gt)＝max(|x₁-x₂|，|y₁-y₂|)代指两个锚框中心点(x₁，y₁)和(x₂，y₂)的切比雪夫距离，S代指数据集所有标注框的平均面积。

进一步的，所述分段结构感知损失函数TSD Loss为：

其中，D_Chess(b，b^gt)＝max(|x₁-x₂|，|y₁-y₂)代指两个锚框中心点之间的切比雪夫距离，S指代数据集所有标注框的平均面积，r₁和r₂分别指代两个锚框外接圆的半径，此外，根据余弦定理：

Separated代表两个锚框相离，intersect代表两个锚框相交，contain代表两个锚框相互包含。

进一步的，所述骨干网络包括自底向上连接、自顶向下连接和水平连接三部分，自顶向下连接采用最近邻上采样，水平连接将上采样结果与自下而上过程生成的特征图融合。

为了验证本发明所述方法在Pest Detection上的有效性，选择了五个基线检测器分别检测Pest24数据集，实验结果见表1。可以看出，目前最先进的检测器都没有取得很高的mAP，这表明它们在小物体检测上表现不佳。此外，本发明提出的基于TSD和TSD Loss的Faster R-CNN比用于检测微小物体的SSD、RetinaNet、YOLO、Faster R-CNN和DotD取得了更好的结果。

表一：不同检测器检测在Pest24数据集上检测结果

为了直观地观察结果，本发明还在Pest24数据集上可视化了基于IoU的Faster R-CNN(第二行)和基于TSD的Faster R-CNN(第三行)的检测结果，如图4所示。

其中，物体密度逐列递减(第一列为分布最密集的害虫图像，第四列为分布最稀疏的害虫图像)。与ground-truth(第一行)相比，可视化显示基于IoU的检测器存在漏检，(尤其是在密集的害虫图像中，如图4中的第一列所示)。同时还可以观察到，与基于IoU的方法相比，基于TSD的方法可以显着提高真阳性(TP)。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于TSD-Faster RCNN的农作物害虫检测方法，其特征在于，包括以下步骤：

S1：将农作物害虫检测图像输入到主干网络以生成图像的特征图；

S2：将生成的特征图经骨干网络再处理后输出至区域提案网络RPN和区域卷积神经网络R-CNN中，所述骨干网络采用主干网络与特征金字塔网络FPN相结合；

S3：在区域提案网络RPN中，使用结构感知距离TSD计算预测锚框和真实锚框的相似度，使用分段结构感知损失函数TSD Loss计算回归损失，RPN返回粗糙的候选框至R-CNN中；

S4：使用R-CNN将所有候选框修改为相同大小，候选框被传递到全连接层以对对象进行分类并预测边界框。

2.根据权利要求1所述的基于TSD-Faster RCNN的农作物害虫检测方法，其特征在于，所述结构感知距离TSD衡量锚框之间的相似度：

其中，D_Chess(b，b^gt)＝max(|x₁-x₂|，|y₁-y₂|)代指两个锚框中心点(x₁，y₁)和(x₂，y₂)的切比雪夫距离，S代指数据集所有标注框的平均面积。

3.根据权利要求1所述的基于TSD-Faster RCNN的农作物害虫检测方法，其特征在于，所述分段结构感知损失函数TSD Loss为：

其中，D_Chess(b，b^gt)＝max(|x₁-x₂|，|y₁-y₂|)代指两个锚框中心点之间的切比雪夫距离，S指代数据集所有标注框的平均面积，r₁和r₂分别指代两个锚框外接圆的半径，此外，根据余弦定理：

Separated代表两个锚框相离，intersect代表两个锚框相交，contain代表两个锚框相互包含。

4.根据权利要求1所述的基于TSD-Faster RCNN的农作物害虫检测方法，其特征在于，所述骨干网络包括自底向上连接、自顶向下连接和水平连接三部分，自顶向下连接采用最近邻上采样，水平连接将上采样结果与自下而上过程生成的特征图融合。

5.一种基于TSD-Faster RCNN的农作物害虫检测网络，其特征在于，包括：

主干网络，用于提取农作物害虫检测图像的特征，生成输入图像的特征图；

骨干网络，用于对生成的特征图进行再处理，并输出至区域提案网络RPN和区域卷积神经网络R-CNN中；

区域提案网络，用于使用结构感知距离TSD计算预测锚框和真实锚框的相似度，使用分段结构感知损失函数TSD Loss计算回归损失，并返回粗糙的候选框至R-CNN中；

区域卷积神经网络，用于将所有候选框修改为相同大小的候选框，并传递到全连接层以对对象进行分类并预测边界框。

6.根据权利要求5所述的基于TSD-Faster RCNN的农作物害虫检测网络，其特征在于，所述主干网络采用残差网络ResNet或mobileNet或VGG或darkNet或efficientNet。

7.根据权利要求5所述的基于TSD-Faster RCNN的农作物害虫检测网络，其特征在于，所述骨干网络采用主干网络与特征金字塔网络FPN相结合。

8.根据权利要求7所述的基于TSD-Faster RCNN的农作物害虫检测网络，其特征在于，所述骨干网络包括自底向上连接、自顶向下连接和水平连接三部分，自顶向下连接采用最近邻上采样，水平连接将上采样结果与自下而上过程生成的特征图融合。

9.根据权利要求5所述的基于TSD-Faster RCNN的农作物害虫检测网络，其特征在于，所述结构感知距离TSD衡量锚框之间的相似度：

其中，D_Chess(b，b^gt)＝max(|x₁-x₂|，|y₁-y₂|)代指两个锚框中心点(x₁，y₁)和(x₂，y₂)的切比雪夫距离，S代指数据集所有标注框的平均面积。

10.根据权利要求5所述的基于TSD-Faster RCNN的农作物害虫检测网络，其特征在于，所述分段结构感知损失函数TSD Loss为：

其中，D_Chess(b，b^gt)＝max(|x₁-x₂|，|y₁-y₂|)代指两个锚框中心点之间的切比雪夫距离，S指代数据集所有标注框的平均面积，r₁和r₂分别指代两个锚框外接圆的半径，此外，根据余弦定理：

Separated代表两个锚框相离，intersect代表两个锚框相交，contain代表两个锚框相互包含。

Images