CN115861768A - 一种基于改进YOLOv5的金银花目标检测及采摘点定位方法 - Google Patents

Abstract

本发明公开了一种基于改进YOLOv5的金银花目标检测及采摘点定位方法，构建改进型YOLOv5网络，包括把YOLOv5目标检测网络中所有CBL模块中的激活函数Leaky Relu改为HardSwish函数，并且在spp结构中添加cbam注意力机制模块，通过改进的spp‑cbam结构进行不同特征尺寸的特征融合，然后输入到Neck和Head层中，得到改进网络的预测结果。在采摘金银花的过程，将金银花图像输入改进型YOLOv5网络得到预测框，将预测的金银花位置坐标输入判定器，根据多只金银花之间的水平或垂直距离判断出它们是否属于同一枝叶，并对单只生长或多只生长的金银花分别获取采摘点并执行采摘工作。

Description

一种基于改进YOLOv5的金银花目标检测及采摘点定位方法

技术领域

本发明属于智能采摘及计算机视觉技术领域，尤其是涉及一种基于改进YOLOv5的金银花目标检测及采摘点定位方法。

背景技术

金银花在我国各省都有分布，种植面积大，品种多，且具有一定的药用价值，其功效主要是清热解毒，主治温病发热，且保存和冲泡方便，因此也有一定的经济价值。目前金银花的采摘方法主要是依靠农民手工采摘或者采用小型手持采摘器采摘，存在费时费力，效率低下的问题，而通过智能采摘机器人采摘则可以大大节省人工，提高采摘的效率。

智能采摘机器人主要通过计算机视觉中的目标检测技术来定位金银花的位置信息，为下一步的采摘定位出精确的采摘点。目前的目标检测技术主要采用深度学习方法，随着近年来深度学习的迅猛发展，以YOLOv5为代表的目标检测算法在智能机器人识别领域得到广泛应用。

但是以上技术仍存在以下缺陷：

(1)将不带预处理的金银花数据集带入YOLOv5原始网络中进行训练，会存在提取的特征不明显，预选框与真实框大小不一致，导致模型的泛化性较。

(2)YOLOv5虽然比传统的目标检测算法训练速度快，但是难以提取小目标的特征，因此使用原始的YOLOv5目标检测网络还存在精度不高的问题。

(3)同一图像中网络预测出的金银花往往有很多只，若按照传统的采摘方法，对预测出的金银花逐一采摘，则会存在效率低下的问题。

发明内容

为了解决现有技术中存在的不足，本申请提出了一种基于改进YOLOv5的金银花目标检测及采摘点定位方法；本发明利用改进型YOLOv5目标检测网络，在不降低训练速度的情况下，增加对金银花的检测精度，提高模型的泛化性，同时还能针对复杂的金银花生长情况，针对同一枝叶上金银花单只或多只生长及根据采摘器的大小，定位出最合适的采摘点，提高采摘的效率。

本发明所采用的技术方案如下：

一种基于改进YOLOv5的金银花目标检测方法，包括如下步骤：

步骤1，采集金银花图像，对金银花图像进行预处理；

步骤2，利用k-means聚类对金银花图像的标注框进行聚类生成预选框，并将所得到的预选框作为目标检测网络的预选框；

构建改进型YOLOv5网络，所述改进型YOLOv5网络包括依次连接的Input层、Backbone层、Neck层、Head层；其中，所述Backbone层、Neck层中CBH模块中的激活函数为HardSwish函数；所述Backbone层的spp结构中引入一层cbam注意力机制模块，改进为spp-cbam结构；

步骤3，将金银花图像作为改进型YOLOv5网络的输入，通过Backbone层进行特征提取，然后输入Neck层进行特征融合，最终输入到Head层，得到预测框，再进行非极大值抑制，在图像上绘出预测的金银花位置；实现金银花目标检测。

进一步，所述spp-cbam结构包括2个CBH模块、3个全局最大池化、1个cbam注意力机制模块、1个concat层；在CBH模块和concat层之间并联cbam注意力机制模块、3个全局最大池化；concat层的输出连接另一个CBH模块；特征图经过CBH模块后传入cbam注意力机制模块，cbam注意力机制模块输出特征图与1个不经过变化的特征图、3个经过全局最大池化的特征图进行concat拼接，将拼接的特征图传入下一个CBH模块，得到spp-cbam结构的输出。

进一步，Backbone层、Neck层中的CBH模块由卷积层--BN层--激活层构成，其中，激活层中的激活函数为HardSwish函数。

进一步，所述cbam注意力机制模块包括通道注意力模块和空间注意力模块。

进一步，所述预处理包括对所采集的金银花图像进行双边滤波处理；其中，颜色空间的滤波的标准差＝70，空间坐标的滤波的标准＝70。

进一步，利用LabelImg标注工具对金银花图像进行标注，用水平框框出图像中金银花的位置，并保存为YOLO格式。

一种复杂情况下的金银花采摘点定位方法，包括如下步骤：

步骤1，采集金银花图像；

步骤2，将金银花图像输入到改进型YOLOv5网络中，利用改进型YOLOv5网络对金银花的位置信息进行预测，在图像上输出预测结果；

步骤3，基于预测结果判断出金银花为单只或多只生长，然后构造一个最小采摘范围框，最后根据采摘器大小定位出最合适的采摘点，引导采摘器进行采摘。

进一步，在步骤3中，构造一个判定器，对改进后的YOLOv5网络预测出的金银花预测框进行判定，判断出同一枝叶上的金银花为单只或多只生长；

金银花预测框输入判定器后，设预测出的金银花位置坐标为x，y，w，h，其中x，y为预测框的中心坐标，w，h为预测框的宽和高，若两个预测框之间的水平或垂直位置距离超过这两个预测框宽或者高之和的两倍，则判定这两只预测的金银花不生长在同一枝叶上；若两个预测框之间的水平或垂直位置距离不超过这两个预测框宽或者高之和的两倍，则判定这两只预测的金银花生长在同一枝叶上；若第三个预测框与已判定为同一枝叶上的两只金银花预测框其中的一个，水平或垂直位置距离不超过这两个预测框宽或者高之和的两倍，则判定这三只预测的金银花生长在同一枝叶上，以此类推，判定出同一枝叶上的所有金银花。

进一步，对于判断出单只生长，不与其他金银花生长在同一枝叶上的金银花，用采摘器对其进行单独采摘，采摘点为其预测框中心坐标(x，y)。

进一步，对于判断出生长在同一枝叶上的所有金银花，构造一个最小采摘范围框将其水平或垂直位置上的所有金银花预测框包含在其中，若其最小采摘范围框的水平或垂直长度不超过采摘器的最大长度，则将采摘点定位在同一枝叶上的所有金银花中心位置；若其最小采摘范围框的水平或垂直长度超过采摘器的最大长度，则将采摘点定位在同一枝叶上所有金银花中的第一只的预测框中心坐标处，之后以此类推，重新判定，然后分多次采摘。

本发明的有益效果：

(1)在进行数据预处理时，对所有图像进行了双边滤波，突出了金银花的边缘细节，能够在网络训练时更好地提取特征，提高预测的精度；同时能够去除部分噪点，弥补了制作数据集时存在的图片不清晰，金银花边缘模糊等问题。

(2)在进行数据预处理时，对所有标注框进行k-means聚类生成多个预测框，并将其替代YOLOv5原始网络中的初始预选框，能够避免网络在自动计算预选框时收敛到局部最小值点，无法生成最优点的问题，从而提高网络的训练精度。

(3)将原始YOLOv5网络中所有的Leaky-Relu激活函数换成HardSwish激活函数，其优点在于HardSwish激活函数曲线平滑且任意点可导，在提升精度的同时也不会加大计算量，相比于Leaky-Relu激活函数更适用于移动端的场景。

(4)将原始YOLOv5网络中的spp结构加入注意力机制cbam模块，改进为spp-cbam结构，能够提升模型在通道和空间上的特征提取能力，使模型更快定位到我们感兴趣的区域，提升了模型的精度；同时把cbam注意力机制模块加在spp结构中，相比与加在整个spp结构的前面或者后面，减少了模型的参数量，提高了模型的预测效率。

(5)在复杂情况下的金银花采摘点定位方法中添加了一种判定器，能够根据预测出的金银花位置信息，判断同一枝叶上的金银花为单只或多只生长，判断出金银花的稀疏情况，为复杂情况下金银花的生长情况提供了一种预测方法，为定位最佳采摘点提供了依据。

(6)在复杂情况下的金银花采摘点定位方法中，计算出同一枝叶上所有金银花的最小采摘范围框，并与采摘器大小进行比较，定位出最优的采摘点，相比于使用传统方法逐一采摘，提高了采摘的效率；且该定位方法可根据采摘器的大小及金银花的稀疏程度，定位出最优的采摘点，具有适应性强，因地制宜的优点。

附图说明

图1是本申请方法总体技术流程图。

图2是本申请改进的YOLOv5的网络结构。

图3是现有YOLOv5网络中的spp结构。

图4是本申请改进的YOLOv5网络中的spp-cbam结构。

图5是本申请注意力机制模块cbam结构图。

图6是本申请判定金银花是否为同一枝叶生长方法示意图。

图7是本申请复杂情况下的金银花采摘点定位示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

一种基于改进YOLOv5的金银花目标检测方法，如图1所示，包括以下步骤：

步骤1，通过相机采集金银花的图像，并在输入网络前对图像进行预处理，预处理之后的金银花图像作为目标检测网络的输入，并对目标检测网络进行训练；

对所采集的金银花图像的预处理包括：对数据集进行划分、标注、对数据集进行翻转、马赛克数据增强、双边滤波等操作；再对金银花图像集通过k-means聚类得到预选框，并将通过k-means聚类得到的预选框作为目标检测网络的预选框。

更具体地，在对金银花图像进行预处理时，将数据集按照7：3的比例划分为训练集和验证集。

更具体地，利用LabelImg标注工具对所有图像进行标注，用水平框框出图像中金银花的位置，并保存为YOLO格式。

更具体地，利用YOLOv5网络中自带的例如翻转，马赛克数据增强等方式对金银花图像进行预处理。

更具体地，对金银花图像进行双边滤波处理。其中，sigmaColor(颜色空间的滤波的标准差)＝70，sigmaSpace(空间坐标的滤波的标准差)＝70。

更具体地，在本申请中，通过k-means聚类的方法对所有图像中的标注框进行聚类；根据现有训练集样本中的标注框，聚类出九个尺寸最接近的预选框，例如：[[13 35][2619][2243][44 42][82 24][29 77][52 75][103 61][117 140]]，并用这九个聚类出的预测框替代YOLOv5网络原先自带的九个预选框。

步骤(2)，YOLOv5目标检测网络包括Input层(输入层)，Backbone层(主干网络层)，Neck层(特征融合层)，Head层(检测头层)；各层功能如下：

Input层是对图像进行预处理，为了增加数据的多样性，提高模型的泛化能力，包括Mosaic数据增强；

Backbone层是对图像进行特征提取，包括Focus结构，CSP结构；

Neck层是对图像进行特征融合，包括FPN和PAN结构；

Head层有三个检测头，对三个不同大小的特征图生成预测结果。

本申请中对YOLOv5目标检测网络进行改进，改进包括：(1)将YOLOv5网络中Backbone层、Neck层中的所有CBL(卷积层--BN层--激活层)模块中的激活函数由Leaky-Relu函数改为HardSwish函数，由此获得“CBH”模块。

(2)原始YOLOv5目标检测网络的Backbone层中的spp结构如图3所示，本申请在spp结构的基础上添加一层cbam注意力机制模块，改进为spp-cbam结构，改进后的spp-cbam结构如图4所示。因此得到改进型YOLOv5网络如图2所示。

如图4所示，在特征图输入spp结构中后，先经过一个CBH(卷积层--BN层--激活层)模块，然后将此时特征图的输出传入一个cbam注意力机制模块，将其输出特征图与原本spp结构中的一个不经过变化的特征图和三个经过全局最大池化的特征图进行concat拼接，将其拼接的特征图传入下一个CBH(卷积层--BN层--激活层)模块，其输出即为改进的spp-cbam结构的输出。

cbam注意力机制模块包括通道注意力模块和空间注意力模块，如图5所示，

通道注意力模块将输入的特征图分别经过全局最大池化和全局平均池化，得到两个1*1*C的特征图(C为特征图的通道数)，再将它们分别送入一个两层的神经网络，得到的结果通道数仍为C，再将两个特征进行加和操作，再经过Sigmoid函数激活，得到的结果与原先的特征图相乘，得到经过通道注意力模块后的特征图，

空间注意力模块将通道注意力模块的输出作为输入，做一个基于通道的全局最大池化和全局平均池化，得到两个H*W*1的特征图(H,W为特征图的高和宽)，然后将这两个特征图基于通道进行concat拼接，然后经过一个卷积层降为通道数为1的特征图，将此结果与空间注意力模块的输入相乘，得到的结果即为cbam注意力机制模块的输出结果。

步骤3，预处理过后的图像输入YOLOv5网络后，通过改进的Backbone层进行特征提取，然后输入Neck层进行特征融合，最终输入到Head层，得到预测框，再进行非极大值抑制，在图像上绘出预测的金银花位置；实现金银花目标检测。

基于上述方法构建的改进的YOLOv5目标检测网络，本申请利用该改进的YOLOv5目标检测网络实现对复杂情况下金银花采摘点的精确定位，具体如下：

一种复杂情况下的金银花采摘点定位方法，该方法包含以下步骤：

步骤(1)，通过相机采集金银花图像，采用上述预处理方法对金银花数据集进行预处理；

步骤(2)，将预处理后的图像输入到上述的改进型YOLOv5网络中，利用改进的YOLOv5网络对金银花的位置信息进行预测，在图像上输出预测的结果；

步骤(3)，基于预测结果判断出金银花为单只或多只生长，然后构造一个最小采摘范围框，最后根据采摘器大小定位出最合适的采摘点，引导采摘器进行采摘。

更具体地，在步骤(3)中，构造一个判定器，对改进型YOLOv5网络预测出的金银花预测框进行判定，判断出同一枝叶上的金银花为单只或多只生长。

如图6左图所示，金银花预测框输入判定器后，设预测出的两只金银花位置坐标为(x₁，y₁，w₁，h₁)，(x₂，y₂，w₂，h₂)，其中，x_i，y_i为第i个预测框的中心坐标，w_i，h_i为第i个预测框的宽和高，当两个水平预测框之间的水平距离大于等于两个预测框宽之和的两倍，即存在如下关系：

x₂-x₁≥2(w₁+w₂)

其中，x₂-x₁为两个水平预测框之间的水平距离，w₁+w₂为两个预测框宽之和，则判定器判定两只金银花不生长在同一枝叶上，即为单只生长。此时定位出最佳采摘点为单只金银花的中心坐标(x_i，y_i)，采摘器进行逐一采摘，如图所示先采摘(x₁，y₁)位置，再采摘(x₂，y₂)位置；或者可以先采摘(x₂，y₂)位置，再采摘(x₁，y₁)位置。

反之，若两个水平预测框之间的水平距离小于两个预测框宽之和的两倍，即存在如下关系：

x₂-x₁＜2(w₁+w₂)

则判定器判定两只金银花生长在同一枝叶上，即为多只生长。

如图6右图所示，金银花预测框输入判定器后，设预测出的三只金银花位置坐标为(x₁，y₁，w₁，h₁)，(x₂，y₂，w₂，h₂)，(x₃，y₃，w₃，h₃)，其中x，y为预测框的中心坐标，w，h为预测框的宽和高，当第一个和第二个水平预测框之间的水平距离小于两个预测框宽之和的两倍，即存在如下关系：

x₂-x₁＜2(w₁+w₂)

其中x₂-x₁为两个水平预测框之间的水平距离，w₁+w₂为两个预测框宽之和，则判定器判定两只金银花生长在同一枝叶上；

若此时周围存在第三个金银花水平预测框，如图6右图所示为第三个预测框，且第三个预测框与已判定为同一枝叶上的两只金银花预测框其中的一个(如图6右图所示为第二个水平预测框)，水平距离不超过这两个预测框宽或者高之和的两倍，即存在如下关系：

x₃-x₂＜2(w₂+w₃)

其中x₃-x₂为第二和第三个水平预测框之间的水平距离，w₂+w₃为第二和第三个预测框宽之和，则判定器判定第三只金银花与前两只生长在同一枝叶上；

以此类推，判定器判定出所有预测出的金银花为单只生长或多只生长；

对于判定为生长在同一枝叶上的多只金银花，如图7所示，生成一个最小采摘范围框将其水平方向上的所有金银花包含在内，如图中的虚线框所示，采摘器相对于金银花的大小如图中黑色框所示，金银花预测框位置如图中最小采摘范围框中的黑色框所示；

如图7左图及中间图所示，当最小采摘范围框的水平距离小于采摘器的水平距离时，即存在如下关系：

W_框＜W_采摘器

其中，W_框为最小采摘范围框的水平距离，W_采摘器为采摘器的水平距离，此时若最小采摘范围框内的金银花只数为单数，如图7左图所示，则将采摘器的最佳采摘点定位在中间只的金银花的中心坐标，即为(x₂，y₂)；若最小采摘范围框内的金银花只数为双数，如图7中间图所示，则将采摘器的最佳采摘点定位在中间两只的金银花的坐标中心，即为(x₂+x₃/2，y₂+y₃/2)；

如图7右图所示，当最小采摘范围框的水平距离大于等于采摘器的水平距离时，即存在如下关系：

W_框≥W_采摘器

其中W_框为最小采摘范围框的水平距离，W_采摘器为采摘器的水平距离，将采摘器的最佳采摘点定位在水平方向上第一只金银花的中心坐标(x₁，y₁)进行采摘，采摘之后重新判定金银花为单只或多只生长，重新比较最小采摘范围框的水平距离和采摘器的水平距离，然后再次进行采摘，以此类推。

图7所示情况为金银花竖直生长时的情况，金银花水平生长时情况于此类似，只不过将水平方向距离x₂-x₁改为垂直方向距离y₂-y₁，预测框的宽之和w₁+w₂改为高之和h₁+h₂，最小采摘范围框的水平距离W改为最小采摘范围框的垂直距离H，其他与水平情况一样保持不变，在此处不作另外说明。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.一种基于改进YOLOv5的金银花目标检测方法，其特征在于，包括如下步骤：

步骤1，采集金银花图像，对金银花图像进行预处理；

步骤2，利用k-means聚类对金银花图像的标注框进行聚类生成预选框，并将所得到的预选框作为目标检测网络的预选框；

构建改进型YOLOv5网络，所述改进型YOLOv5网络包括依次连接的Input层、Backbone层、Neck层、Head层；其中，所述Backbone层、Neck层中CBH模块中的激活函数为HardSwish函数；所述Backbone层的spp结构中引入一层cbam注意力机制模块，改进为spp-cbam结构；

步骤3，将金银花图像作为改进型YOLOv5网络的输入，通过Backbone层进行特征提取，然后输入Neck层进行特征融合，最终输入到Head层，得到预测框，再进行非极大值抑制，在图像上绘出预测的金银花位置；实现金银花目标检测。

2.根据权利要求1所述的一种基于改进YOLOv5的金银花目标检测方法，其特征在于，所述spp-cbam结构包括2个CBH模块、3个全局最大池化、1个cbam注意力机制模块、1个concat层；在CBH模块和concat层之间并联cbam注意力机制模块、3个全局最大池化；concat层的输出连接另一个CBH模块；特征图经过CBH模块后传入cbam注意力机制模块，cbam注意力机制模块输出特征图与1个不经过变化的特征图、3个经过全局最大池化的特征图进行concat拼接，将拼接的特征图传入下一个CBH模块，得到spp-cbam结构的输出。

3.根据权利要求1或2所述的一种基于改进YOLOv5的金银花目标检测方法，其特征在于，Backbone层、Neck层中的CBH模块由卷积层--BN层--激活层构成，其中，激活层中的激活函数为HardSwish函数。

4.根据权利要求3所述的一种基于改进YOLOv5的金银花目标检测方法，其特征在于，所述cbam注意力机制模块包括通道注意力模块和空间注意力模块。

5.根据权利要求1所述的一种基于改进YOLOv5的金银花目标检测方法，其特征在于，所述预处理包括对所采集的金银花图像进行双边滤波处理；其中，颜色空间的滤波的标准差＝70，空间坐标的滤波的标准＝70。

6.根据权利要求1所述的一种基于改进YOLOv5的金银花目标检测方法，其特征在于，利用LabelImg标注工具对金银花图像进行标注，用水平框框出图像中金银花的位置，并保存为YOLO格式。

7.一种复杂情况下的金银花采摘点定位方法，其特征在于，包括如下步骤：

步骤1，采集金银花图像；

步骤2，采用权利要求1所述一种基于改进YOLOv5的金银花目标检测方法对金银花图像的位置信息进行预测，在图像上输出预测结果；

步骤3，基于预测结果判断出金银花为单只或多只生长，然后构造一个最小采摘范围框，最后根据采摘器大小定位出最合适的采摘点，引导采摘器进行采摘。

8.根据权利要求7所述的一种复杂情况下的金银花采摘点定位方法，其特征在于，在步骤3中，构造一个判定器，对改进后的YOLOv5网络预测出的金银花预测框进行判定，判断出同一枝叶上的金银花为单只或多只生长；

金银花预测框输入判定器后，设预测出的金银花位置坐标为x，y，w，h，其中x，y为预测框的中心坐标，w，h为预测框的宽和高，若两个预测框之间的水平或垂直位置距离超过这两个预测框宽或者高之和的两倍，则判定这两只预测的金银花不生长在同一枝叶上；若两个预测框之间的水平或垂直位置距离不超过这两个预测框宽或者高之和的两倍，则判定这两只预测的金银花生长在同一枝叶上；若第三个预测框与已判定为同一枝叶上的两只金银花预测框其中的一个，水平或垂直位置距离不超过这两个预测框宽或者高之和的两倍，则判定这三只预测的金银花生长在同一枝叶上，以此类推，判定出同一枝叶上的所有金银花。

9.根据权利要求8所述的一种复杂情况下的金银花采摘点定位方法，其特征在于，对于判断出单只生长，不与其他金银花生长在同一枝叶上的金银花，用采摘器对其进行单独采摘，采摘点为其预测框中心坐标(x，y)。

10.根据权利要求7所述的一种复杂情况下的金银花采摘点定位方法，其特征在于，对于判断出生长在同一枝叶上的所有金银花，构造一个最小采摘范围框将其水平或垂直位置上的所有金银花预测框包含在其中，若其最小采摘范围框的水平或垂直长度不超过采摘器的最大长度，则将采摘点定位在同一枝叶上的所有金银花中心位置；若其最小采摘范围框的水平或垂直长度超过采摘器的最大长度，则将采摘点定位在同一枝叶上所有金银花中的第一只的预测框中心坐标处，之后以此类推，重新判定，然后分多次采摘。

Images