CN114821536B - 一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法 - Google Patents

Abstract

本发明公开了一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法，包括将增广后的图片数据集随机划分为训练集、测试集和验证集；标注图像特征；构建改进yolov5模型并进行训练，而后采用训练好的改进yolov5模型对测试集、验证集进行目标识别；验证摄像头实时识别能力。该识别方法构建改进yolov5模型时，用GhostNet端侧神经网络替换主干网络中的各层传统卷积神经网络，利用Ghost模块的轻量化优势，减少模型参数和计算时间，并引入CA注意力机制，更有利于提取特征，提升检测精度；优化后的神经网络模型具有更高的置信度和检测速度，能将摄像头视频捕捉的田间障碍物实时准确的进行识别，并且该模型所占内存小、精度高、速度快，很好地满足无人驾驶拖拉机ECU视觉避障的嵌入要求。

Description

一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法

技术领域

本发明属于计算机视觉技术领域,具体涉及一种改进YOLOv5的无人驾驶拖拉机田间障碍物识别方法。

背景技术

农机自主作业中障碍物检测是作业环境感知中不可忽视的重点，准确并及时地得到障碍物的类别和位置信息，将有力促进农机自主作业中路径规划、避障的精准性与合理性。根据所使用的传感器种类，农机环境感知任务中障碍物检测方法可以分为基于计算机视觉的障碍物检测、基于毫米波雷达的障碍物检测、基于激光雷达的障碍物检测、基于激光测距仪的障碍物检测、基于多传感器融合的障碍物检测等多种方法。

基于计算机视觉的农机环境感知任务通常采用嵌入式主控器，考虑到现阶段农机的ECU算力普遍较差，目前能满足计算机视觉实时感知且内存占比小的主流神经网络有三种：YOLO系列、SSD系列、Fsater R-CN系列，其中以yolo系列效果最好。本文以yolo系列最新版本yolov5为基础网络并且加以改进。

发明内容

鉴于前述背景，本发明的目的在于提供一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法。该方法采用yolov5为主干网络，用更轻量化的GhostNet代替yolov5原有卷积神经网络，并加入注意力机制，使得环境感知更精确且模型所占内存更小，更好地满足农机嵌入式系统开发的需要。

为实现上述目的，本发明一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法具体包括的步骤如下：

步骤1：对摄像头采集的田间障碍物图片进行预处理，得到图片数据集；

步骤2：对图片数据集进行增广操作，将增广后的图片数据集按7：2：1比例随机划分为训练集、测试集和验证集；

步骤3：标注图像特征：将训练集中每一幅图片中的固定结构树木、非结构非固定的行人、除正在自主作业的农机外的其它农机、固定结构建筑进行分类标注，构建标注数据集；

步骤4：构建改进yolov5模型，具体步骤如下：

步骤4.1：用GhostNet端侧神经网络替换yolov5主干网络中2到8层的传统卷积神经网络搭建出主要模型。

步骤4.2：对比多种注意力机制，最终选择添加Coordinate Attention注意力机制。

步骤5：训练步骤4构建的改进yolov5模型，具体步骤如下：

步骤5.1：搭建训练框架，将改进yolov5模型和步骤3构建的标注数据集传入Google-Colab Pro+云计算平台，利用Google云端GPU完成训练过程。

步骤5.2：设置训练参数，训练批次大小设置为Batch＝64，动量Momentum＝0.9，学习率初始设定为Ir＝0.001，训练迭代次数Epoch＝500。

步骤5.3：完成训练，下载训练结果。训练结果为改进yolov5模型识别精度达到96.8％，相对于原yolov5模型识别精度91.6％，提升了5.2％。

步骤6：采用步骤5训练好的网络模型对测试集、验证集进行目标识别。

步骤7：验证摄像头实时识别能力。将训练所得权重参数写入detect.py,使用python搭建框架运行该模型，试验得该模型能够链接电脑摄像头，并能实时准确识别出各种障碍物。该模型大小仅14M，满足无人驾驶拖拉机识别设备嵌入要求。

原始yolov5网络结构如图1所示，改进yolov5网络结构如图2所示。对原模型的两处优化为：用GhostNet端侧神经网络替换yolov5主干网络中的2-8层传统卷积神经网络搭建出主要模型；并引入CA注意力机制。

Ghost模型优化在于减少冗余计算，缩短计算时间。卷积层的输出特征图通常包含很多冗余，并且其中一些可能彼此相似，这些冗余特征图使得有大量的FLOP和参数生成，增加计算时间。GhostNet将原来的卷积分为两步，第一步是传统Conv卷积层，仅将输出通道数减少；第二步是用第一步生成的特征图通过线性变化，来生成剩余的特征图。最后将两步的输出通道结合输出。GhostNet结构图如图3A所示，GhostNet和Conv的对比如图3B所示。

Coordinate Attention(简称CA)将通道注意力分解为两个沿着不同方向聚合特征的1D特征编码过程：其中一个沿着一个空间方向捕获长程依赖，另外一个沿着另一个空间方向保留精确的位置信息。然后，将生成的特征图分别编码，形成一对方向感知和位置敏感的特征图，它们可以互补地应用到输入特征图来增强感兴趣的目标的表示。CA为了获取图像宽度和高度上的注意力并对精确位置信息进行编码，先将输入特征图从宽度和高度两个方向分别进行全局平均池化，分别获得在宽度和高度两个方向的特征图，具体来说：给定输入X，使用池化核的两个空间范围(H，1)或(1，W)分别沿水平坐标和垂直坐标对每个通道进行编码，

因此在c通道在高度h处的输出表示为：

在c通道在宽度w处的输出表示为：

与现有技术相比，本发明一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法能够获取如下有益效果：

1.用GhostNet端侧神经网络替换主干网络中的2-8层传统卷积神经网络，利用Ghost模块的轻量化优势，减少模型参数和计算时间；

2.引入CA注意力机制，对比多种注意力机制，最终添加Coordinate Attention注意力机制，更有利于提取特征，提升检测精度；

3.摒弃迁移学习，自建专用田间障碍物数据集，并人工分类标注进行训练；

4.优化后的神经网络模型具有更高的置信度和检测速度，能将摄像头视频捕捉的田间障碍物实时准确的进行识别，并且该模型所占内存小、精度高、速度快，很好地满足无人驾驶拖拉机ECU视觉避障的嵌入要求。

附图说明

图1为原yolov5模型架构图。

图2为本发明中改进yolov5模型架构图。

图3A为本发明采用的GhostNet结构图。

图3B为图3A所示的GhostNet结构图和Conv网络的对比示意图。

图4为本发明采用的CA(Coordinate Attention)注意力机制示意图。

图5为本发明中改进yolov5模型的训练结果图。

图6为改进yolov5模型训练后的图片测试效果图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明,以使本发明的优点和特征能够易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。

本发明一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法，包括如下步骤：

步骤1：对摄像头采集的田间障碍物图片进行预处理，得到图片数据集。

步骤2：对步骤1得到的图片数据集进行增广操作，制成包含2300张图片的数据集。将增广后的图片数据集按7:2:1比例随机划分为训练集、测试集和验证集。

该步骤中，所述增广操作采用以下4个函数对图像进行扩充，以增大训练量、增强训练效果：

镜像翻转：左右翻转图像通常不改变物体的类别，模拟围绕障碍物的不同侧面拍摄；

添加光照：增加不同太阳光照，模拟不同光照条件下障碍物样式；

随机分割：为了降低卷积层对目标位置的敏感度，通过图像随机裁剪来让障碍物以不同比例出现在图片不同位置；

图片旋转：围绕像素中心点对图片分别进行旋转90度、180度、270度，得到不同场朝向的障碍物。

该步骤中，所述的图片数据集划分是在windows系统的caffe框架下,将图片数据按7:2:1的比例随机划分为训练集、测试集、验证集。

步骤3：标注图像特征。

本申请以农田中的固定结构树木、非结构且非固定的行人、其它农机(相对于正在自主作业的农机)、固定结构建筑等4类目标为检测任务，将训练集中每一幅图片中的tree、person、tractor、building等四类田间障碍物进行分类标注，构建标注数据集。

步骤4：构建改进yolov5的无人驾驶拖拉机田间障碍物识别模型(为便于说明，本申请将其简称为：改进yolov5模型)，具体步骤如下：

步骤4.1：用GhostNet端侧神经网络替换yolov5主干网络中2到8层的传统卷积神经网络，搭建出主要模型。

先将GhostConv、GhostBottleneck模块代码写入yolov5模型的common.py配置文件中。再自建yaml文件，相对于原yolov5s.yaml文件，将backbone中2-8层中的Conv结构、C3结构分别用GhostConv结构、GhostC3结构代替；

步骤4.2：对比多种注意力机制，最终选择添加Coordinate Attention注意力机制。

先将SE、CBAM、ECA、CA四种注意力机制代码写入common.py文件中，其次在yolo.py文件中增加判断条件，最后在步骤4.1自建的yaml文件backbone中添加注意力模块。通过4种注意力机制训练效果的对比，最终选择识别效果最好的CA注意力机制。

步骤5：训练步骤4中构建的改进yolov5的无人驾驶拖拉机田间障碍物识别模型，具体步骤如下：

步骤5.1：搭建训练框架，将步骤4构建的改进yolov5模型和步骤3得到的标注数据集传入Google-Colab Pro+平台，利用Google云端GPU完成训练过程；

步骤5.2：设置训练参数，训练批次大小设置为Batch＝64，动量Momentum＝0.9，学习率初始设定为Ir＝0.001，训练迭代次数Epoch＝500；

步骤5.3：完成训练，下载训练结果，训练结果为：四类田间障碍物的识别精确度达到96.8％，相对于原yolov5模型的识别精度91.6％，提升了5.2％。

步骤6：采用步骤5训练好的改进yolov5模型对测试集、验证集进行目标识别。

步骤7：验证摄像头实时识别能力。将训练所得权重参数写入detect.py，使用python搭建框架运行改进yolov5模型，试验得到：改进yolov5模型能够链接电脑摄像头，并能实时准确识别出各种障碍物；此外，该模型大小仅14mb，满足无人驾驶拖拉机识别设备的嵌入要求。

以上所述，仅是本发明的较佳实施例而已，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (4)

1.一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法，其特征在于包括：

步骤1：对摄像头采集的田间障碍物图片进行预处理，得到图片数据集；

步骤2：对图片数据集进行增广操作，并将增广后的图片数据集随机划分为训练集、测试集和验证集；

步骤3：标注图像特征：将训练集中每一幅图片中的固定结构树木、行人、除正在自主作业的农机外的其它农机、固定结构建筑进行分类标注，构建标注数据集；

步骤4：构建改进yolov5无人驾驶拖拉机田间障碍物识别模型，具体为：采用GhostNet端侧神经网络替换yolov5主干网络中2到8层的传统卷积神经网络，搭建出主要模型，并添加Coordinate Attention注意力机制；

步骤5：训练步骤4构建的改进yolov5无人驾驶拖拉机田间障碍物识别模型；

步骤6：采用步骤5训练好的改进yolov5无人驾驶拖拉机田间障碍物识别模型对测试集、验证集进行目标识别；

步骤7：验证摄像头实时识别能力：将训练所得权重参数写入detect.py，使用python搭建框架运行改进yolov5模型，试验得该模型能够链接电脑摄像头，并能实时准确识别出各种田间障碍物；并且该模型大小仅14mb，满足无人驾驶拖拉机识别设备的嵌入要求。

2.根据权利要求1所述的一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法，其特征是所述步骤2中，增广操作包括镜像翻转、添加光照、随机分割、图片旋转。

3.根据权利要求1所述的一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法，其特征是所述步骤2中，图片数据集划分是在windows系统的caffe框架下,将图片数据按7:2:1的比例随机划分为训练集、测试集、验证集。

4.根据权利要求1所述的一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法，其特征是所述步骤5具体包括：

步骤5.1：搭建训练框架，将步骤4构建的改进yolov5模型和步骤3构建的标注数据集传入Google-Colab Pro+云计算平台，利用Google云端GPU完成训练过程；

步骤5.2：设置训练参数，训练批次大小设置为Batch＝64，动量Momentum＝0.9，学习率初始设定为Ir＝0.001，训练迭代次数Epoch＝500；

步骤5.3：完成训练，下载训练结果，训练结果为改进yolov5模型识别精度为96.8％，相对于原yolov5模型的识别精度91.6％，提升了5.2％。