CN114022878A - 一种基于改进YOLOv5的串型番茄实时检测方法 - Google Patents

Abstract

本发明属于计算机视觉与模式识别、深度学习以及串型番茄成熟度检测技术领域，针对传统的图像处理算法对番茄的检测准确率相对较低，推理速度较慢，对复杂场景的适应性及准确性较差以及目前深度学习在串型番茄的检测方法和图像数据集处理中的缺乏，公开了一种基于改进YOLOv5的串型番茄实时检测方法，是基于YOLOv5思想，引入注意力机制以挖掘更深更优的图像特征信息，能够在检测精度、推理速度两方面达到实用化的要求，实现了在人工智能嵌入式设备上的应用。

Description

一种基于改进YOLOv5的串型番茄实时检测方法

技术领域

本发明属于计算机视觉与模式识别、深度学习以及串型番茄成熟度检测技术领域，具体为一种基于改进YOLOv5的串型番茄实时检测方法。

背景技术

近年来，中国温室番茄种植面积日益增加，随着设施农业和作业机械化的快速发展，对番茄温室种植模式的要求也越来越高。而温室内番茄采摘作业大多是由人工完成，采摘是生产链中最耗时、最费力的环节之一，其劳动强度大，费用高。研究并装配番茄采摘机器人，是设施农业中亟待解决的重要问题之一。在温室环境下，番茄采摘机器人进行串型番茄的采摘作业时首先要根据串型番茄的成熟度判断果实是否适合采收。番茄果实的生长形态各有不同，果实之间存在重叠黏连等问题，番茄的叶片、枝干和光照强度不同等，都会对番茄串造成不同程度的遮挡，研究自然条件下、复杂环境中的串型番茄检测方法对提高采摘机器人效率和精度具有重大意义。

如今，多地已引入樱桃串式的串型番茄。对此类串型番茄的图像数据和高效检测方法还相对匮乏，现有研究技术大多采用传统的图像处理算法进行实现，通过直方图等信息将番茄果实区域分类，随后基于颜色分析和图像处理方法获取番茄的位置信息，从而实现番茄果实的检测。使用此类传统方法对番茄的检测准确率相对较低，推理速度较慢，对复杂场景的适应性及准确性较差。随着人工智能的不断发展，深度学习逐渐地应用于各个领域，在农业方面也获得了很好的成果，针对计算机视觉问题，传统算法逐渐被鲁棒性更强的深度学习检测算法所取代，深度学习让现代农业变得更加自动化、智能化，弥补了传统农业的不足。但目前针对串型番茄的检测方法和图像数据集均相对缺乏，构建串型番茄数据集、设计针对此问题的检测网络结构成为难点。

发明内容

针对目前串型番茄的检测方法和图像数据集均相对缺乏，以及传统方法对番茄的检测准确率相对较低，推理速度较慢，对复杂场景的适应性及准确性较差等问题，本发明提供了一种基于改进YOLOv5的串型番茄实时检测方法

为了达到上述目的，本发明采用了下列技术方案：

本发明提供一种基于改进YOLOv5的串型番茄实时检测方法，包括以下步骤：

步骤1，采集串型番茄图像，对串型番茄图像进行划分和标注，构建串型番茄检测数据集；

步骤2，对模型输入图像数据进行预处理，包括Mosaic数据增强，自适应锚框计算，自适应图片缩放处理；

步骤3，基于YOLOv5，引入注意力机制，构建串型番茄实时检测模型TomatoNet；本发明创新引入注意力机制使网络模型更加关注目标物体的特征,从而达到提高模型性能和降低误检率的目的，即在保证召回率较高的情况下，尽可能地提高精确率，其基本思想是关注感兴趣的细节信息并抑制其他无用信息。

步骤4，对步骤3构建的串型番茄实时检测模型TomatoNet进行训练；

步骤5，对步骤4训练好的模型进行验证，使其准确率达到85％，视频每秒传输帧数达到30fps；

步骤7，采用验证后的模型TomatoNet进行串型番茄实时检测。

进一步，所述步骤1中对串型番茄图像进行划分和标注的具体过程为：先将数据集中的串型番茄图像按照训练集：验证集＝8：2进行划分，然后使用LabelImg工具对图像数据进行框选标注，按照串型番茄成熟度将串型番茄图像数据分为成熟、半成熟和不熟三类。

进一步，所述步骤2中Mosaic数据增强为随机选取四张图像，采用随机缩放、随机排布、随机裁剪的方式进行拼接。Mosaic数据增强可以丰富检测数据集，加强算法的鲁棒性，提升对小对象的检测能力。

进一步，所述步骤2中预处理还包括对图像角度、对比度即亮度、噪声比重进行不同程度的调整。将这些增强加在一起，提高了检测精度，还缩短了训练时长，同时将公共数据分布转换为更接近生产分布的数据。

进一步，所述步骤3中番茄实时检测模型TomatoNet包括：输入端、Backbone、通道注意力模块、Neck、Prediction；其中，Backbone包括Focus、BottleNeckCSP和spp；Neck包括自顶向下传递强特征的FPN结构以及自底向上的含有两个PAN结构的特征金字塔。

进一步，所述步骤4中采用训练集数据对串型番茄实时检测模型TomatoNet进行训练，具体包括以下步骤：

4.1网络Backbone的Focus先将输入复制四份并通过切片操作分为四个切片；通过Concat层将其进行拼接；再经过卷积层，提取输入的不同特征；通过batch norm层，将每次的梯度分布都控制在原点附近，实现结果归一化；最后用leaky_relu激活函数输入结果到网络Backbone的下一层卷积BottleNeckCSP；

在BottleNeckCSP卷积将输入分成两部分，一部分先进行n次BottleNeck操作，再进行卷积操作，另一部分直接进行卷积操作，然后两部分再经过Concat拼接后输出至空间金字塔池化spp；

在空间金字塔池化spp中，先进行Conv提取特征输出，再经过三个不同kernel_size的最大池化层进行下采样，将各自输出结果进行拼接融合并与其初始特征相加，最后再经过卷积Conv将输出恢复到同初始输入一致；

4.2Backbone输出的特征向量进入通道注意力模块，首先需要处理输入特征向量a，其表示如下：

a＝{a₁，a₂，...，a_L}，_ai∈R^D

式中：L表示特征向量的总数目，D表示维度空间，R表示元素分量均属于实数域；

此外需要获取t时刻的每个特征向量a_i的权重a_t，i，计算如下式所示：

式中：l_ti是中间变量，k是特征向量的序号，f_att(.)表示多层感知机，h_t-1表示t-1时刻的状态；

得到权重之后，模型就具有筛选输入特征向量序列a的能力了，经过筛选后，得到序列为：

z_t＝φ({a_i})

其中，当注意力机制为软注意力时，φ为线性加权函数，当注意力机制为硬注意力时，表示特征向量是离散的；

4.3施加注意力后的特征信息输入模型Neck层，将特征混合组合，并传递到Prediction；

4.4在Prediction预测层，模型采用GIoU作为损失函数，通过非极大值抑制NMS来筛选目标框；

4.5通过F1值和mAP2个指标对训练结果进行评估，最终选取最后一代保存的模型权重文件作为最终的训练结果。

与现有技术相比本发明具有以下优点：

本发明公开了一种基于改进YOLOv5的串型番茄实时检测方法，基于YOLOv5思想，引入注意力机制以挖掘更深更优的图像特征信息，公开的方法能够在检测精度、推理速度两方面达到实用化的要求，实现了在人工智能嵌入式设备上的应用。本发明的优势主要体现在以下三个方面：

(1)精准检测。本方法通过引入注意力机制并加深网络，在保证推理速度实时性的同时对串型番茄的检测效果极好，能够在识别番茄串的同时，对其进行边框的绘制，实现精准检测；

(2)实时推理。原有的方法都是基于服务器端的算力把图像采集后传输到服务器端进行检测和分析，导致不能及时获取番茄串的检测结果。本发明提出的深度学习检测模型经实验，推理速度达到实时性，能够部署在硬件端实时完成检测任务，提高了番茄串检测的效率，为后续番茄采摘机器人的实现提供支撑；

(3)番茄串成熟程度分类。本发明基于串型番茄成熟度将数据分为成熟、半熟、不熟三类，方便采摘人员或机器人识别并对成熟番茄串进行定位。

本发明提出的方法对复杂环境下的串型番茄检测具有很好的性能和推广应用前景，为后续番茄采摘机器人的开发和装配提供了典型示例

附图说明

图1为本发明方法流程示意图；

图2为标注示范图；

图3为TomatoNet网络架构

具体实施方式

下面结合本发明实施例和附图，对本发明实施例的技术方案进行具体、详细的说明。应当指出，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干变型和改进，这些也应视为属于本发明的保护范围。

本发明基于YOLOv5的核心思想，充分利用神经网络强大的建模与拟合能力，将输入的串型番茄图像经过数据预处理后，提取目标串型特征，对目标进行成熟度分类并给出目标边框。方法流程示意图如图1所示。

步骤1：采集串型番茄图像，对串型番茄图像进行划分和标注，构建串型番茄检测数据集。经山西“农谷”“番茄小镇”实地考察和取样，对串型番茄图像进行收集、整理与标注，自主构建串型番茄检测数据集。首先将番茄图像数据进行训练集：验证集＝＝8:2的划分，之后使用LabelImg工具对数据进行框选标注，按照串型番茄成熟度将数据分为三类，分别是：成熟、半成熟、不熟，标注范例如图2所示，并最终整理出2000张标注的图片作为训练数据集。其中包含不同分辨率和大小的样本以及不同饱和度或不同角度的图片样本，以此来增强数据，再另取500张未经处理的图片当作测试用的数据集。

步骤2：对模型输入的图像数据进行预处理。对于整理得到的图像数据，采用Mosaic数据增强，自适应锚框计算，自适应图片缩放。如果图片数据包含了很多小对象，还继续用Mosaic增强图片数据的话，则可能使对象变得更小，导致模型的泛化能力变差。

步骤3：基于YOLOv5思想构建串型番茄实时检测模型TomatoNet。针对原YOLOv5算法的不足，将从减少误检相似物体、加快推理速度两个方面改进YOLOv5算法的网络结构，对此基于YOLOv5思想，引入注意力机制，网络结构图如图3所示。具体步骤如下：

步骤3.1：数据首先进入Backbone，这是网络的主干部分，在不同图像细粒度上聚合，形成对应图像特征的卷积神经网络，主要结构包括了Focus，Conv，BottleNeckCSP，spp。

其中Focus：先将输入复制四份并通过切片操作分为四个切片，通过Concat层将其进行拼接，这里的拼接指的是通道数的合并，增加图像的特征数，而每一特征下的信息没有变化。再经过CBL层，即先经过卷积层(conv)，提取输入的不同特征，有助于找到特定的局部图像特征；其次通过batch norm层，将每次的梯度分布都控制在原点附近，实现结果归一化，使各个batch的偏差不会过大；最后用leaky_relu激活函数输入结果到下一层卷积。Focus模块的设计是用来降低计算量，减少层数，以此提高速度，而并非提高mAP。

BottleNeckCSP：包含BottleNeck和CSP两部分。其中BottleNeck是一种经典的残差结构，使用了1x1的卷积层，很好地减少了计算量。CSP则将输入分成两部分，一部分先进行n次BottleNeck操作，再进行卷积操作，另一部分直接进行卷积操作，二者卷积操作目的都是为了使通道数减半，然后两部分再经过Concat拼接后输出。BottleNeckCSP不仅减少了计算量,还提高了模型的学习能力。

spp：空间金字塔池化，大体由三部分组成:Conv，maxpooling，Concat。先进行Conv提取特征输出，再经过三个不同kernel_size的最大池化层进行下采样，将各自输出结果进行拼接融合并与其初始特征相加，最后再经过卷积Conv将输出恢复到同初始输入一致。

步骤3.2：骨干网络输出的特征向量进入通道注意力模块，注意力机制应用到串型番茄检测中，首先需要处理输入特征向量a，其表示如下：

a＝{a₁，a₂，...，a_L}，a_i∈R^D式中：L表示特征向量的总数目，D表示维度空间，R表示元素分量均属于实数域。此外需要获取t时刻的每个特征向量a_i的权重a_t，i，计算如下式所示：

式中：l_ti是中间变量，k是特征向量的序号，f_att(.)表示多层感知机，h_t-1表示t-1时刻的状态。得到权重之后，模型就具有筛选输入特征向量序列a的能力了，经过筛选后，得到序列为：

z_t＝φ({a_i})

其中，当注意力机制为软注意力时，φ为线性加权函数，当注意力机制为硬注意力时，表示特征向量是离散的。

步骤3.3：施加注意力后的特征信息再输入YOLOv5卷积神经网络的Neck层，这是网络的融合部分，将特征混合组合，并传递到预测层。采用自顶向下传递强特征的FPN结构，以便改善低层特征的传播，以及自底向上的含有两个PAN结构的特征金字塔，两者结合操作，加强网络特征融合的能力。

步骤3.4：最后进入Output输出端部分，yolov5采用了GIoU作为损失函数，还通过非极大值抑制NMS来筛选目标框。

步骤4：模型训练及复杂场景中的推理应用。模型经500个epoch的训练之后，主要考虑F1值和mAP这2个指标对训练结果进行评估，最终选取最后一代保存的模型权重文件作为最终的训练结果，其具有较高的准确率和召回率。准确率达到85％，视频每秒传输帧数达到30fps，经真实场景的视频数据测试后，发现模型可依据人为设定的数量阈值上限，使用代表三种成熟度的边框对番茄串进行识别与框定，可解决温室复杂环境下的串型番茄检测任务，且实时性较高。

Claims (6)

1.一种基于改进YOLOv5的串型番茄实时检测方法，其特征在于，包括以下步骤：

步骤1，采集串型番茄图像，对串型番茄图像进行划分和标注，构建串型番茄检测数据集；

步骤2，对模型输入图像进行预处理，包括Mosaic数据增强，自适应锚框计算，自适应图片缩放处理；

步骤3，基于YOLOv5，引入注意力机制，构建串型番茄实时检测模型TomatoNet；

步骤4，对步骤3构建的串型番茄实时检测模型TomatoNet进行训练；

步骤5，对步骤4训练好的模型进行验证，使其准确率达到85％，视频每秒传输帧数达到30fps；

步骤6，采用验证后的模型TomatoNet进行串型番茄实时检测。

2.根据权利要求1所述的一种基于改进YOLOv5的串型番茄实时检测方法，其特征在于，所述步骤1中对串型番茄图像进行划分和标注的具体过程为：先将采集的串型番茄图像按照训练集：验证集＝8：2进行划分，然后使用LabelImg工具对图像数据进行框选标注，按照串型番茄成熟度将串型番茄图像数据分为成熟、半成熟和不熟三类。

3.根据权利要求1所述的一种基于改进YOLOv5的串型番茄实时检测方法其特征在于：所述步骤2中Mosaic数据增强为随机选取四张图像，采用随机缩放、随机排布、随机裁剪的方式进行拼接。

4.根据权利要求1所述的一种基于改进YOLOv5的串型番茄实时检测方法其特征在于：所述步骤2中预处理还包括对图像角度、对比度即亮度、噪声比重进行不同程度的调整。

5.根据权利要求1所述的一种基于改进YOLOv5的串型番茄实时检测方法，其特征在于，所述步骤3中番茄实时检测模型TomatoNet包括：输入端、Backbone、通道注意力模块、Neck、Prediction；其中，Backbone包括Focus、BottleNeckCSP和spp；Neck包括自顶向下传递强特征的FPN结构以及自底向上的含有两个PAN结构的特征金字塔。

6.根据权利要求1所述的一种基于改进YOLOv5的串型番茄实时检测方法，其特征在于，所述步骤4中采用训练集数据对串型番茄实时检测模型TomatoNet进行训练，具体包括以下步骤：

4.1网络Backbone的Focus先将输入复制四份并通过切片操作分为四个切片；通过Concat层将其进行拼接；再经过卷积层，提取输入的不同特征；通过batch norm层，将每次的梯度分布都控制在原点附近，实现结果归一化；最后用leaky_relu激活函数输入结果到网络Backbone的下一层卷积BottleNeckCSP；

在BottleNeckCSP卷积将输入分成两部分，一部分先进行n次BottleNeck操作，再进行卷积操作，另一部分直接进行卷积操作，然后两部分再经过Concat拼接后输出至空间金字塔池化spp；

在空间金字塔池化spp中，先进行Conv提取特征输出，再经过三个不同kernel_size的最大池化层进行下采样，将各自输出结果进行拼接融合并与其初始特征相加，最后再经过卷积Conv将输出恢复到同初始输入一致；

4.2Backbone输出的特征向量进入通道注意力模块，首先需要处理输入特征向量a，其表示如下：

a＝{a₁，a₂，...，a_L}，a_i∈R^D

式中：L表示特征向量的总数目，D表示维度空间，R表示元素分量均属于实数域；

此外需要获取t时刻的每个特征向量a_i的权重a_t，i，计算如下式所示：

l_ti＝f_att(a_i，h_t-1)

式中：l_ti是中间变量，k是特征向量的序号，f_att(.)表示多层感知机，h_t-1表示t-1时刻的状态；

得到权重之后，模型就具有筛选输入特征向量序列a的能力了，经过筛选后，得到序列为：

z_t＝φ({a_i})

其中，当注意力机制为软注意力时，φ为线性加权函数，当注意力机制为硬注意力时，表示特征向量是离散的；

4.3施加注意力后的特征信息输入模型Neck层，将特征混合组合，并传递到Prediction；

4.4在Prediction预测层，模型采用GIoU作为损失函数，通过非极大值抑制NMS来筛选目标框；

4.5通过F1值和mAP2个指标对训练结果进行评估，最终选取最后一代保存的模型权重文件作为最终的训练结果。

Images