CN115661704A - 一种对于矿山挖掘环境的多目标检测方法 - Google Patents

Abstract

本发明公开了一种对于矿山挖掘环境的多目标检测方法，属于目标检测技术领域。现有的目标检测方法在粉尘、雨雾等视野较差的恶劣矿山挖掘环境下会出现目标检测困难、检测效率不高的问题，为了解决该问题，本发明基于Yolov5算法对采用的神经网络进行了改进，使用SPPF层替换了SPP层，添加了轻量化ECA注意力机制，在保留了原算法推理速度快和轻巧的基础上提高了性能，使神经网络更加关注检测目标，提高了检测效果，能够满足对于矿山挖掘恶劣环境下的多目标检测任务。

Description

一种对于矿山挖掘环境的多目标检测方法

技术领域

本发明涉及挖掘机目标检测技术领域，特别是涉及到一种对于矿山挖掘环境的多目标检测方法。

背景技术

矿山作业开采是世界矿产的主要开采方式之一。由于矿山作业现场环境恶劣，在大量的粉尘以及噪声下长时间高强度工作严重危害了挖掘装备操作人员的身心健康，且因操作人员经验不足操作不当导致的低效作业与安全事故频发，因此矿山作业对于挖掘设备自动化、无人化的需求日益迫切。其中在矿山挖掘环境下的多目标检测方法是其能实现自动化、无人化作业的重要基础。

随着深度学习在视觉领域的广泛应用，越来越多先进的算法可被用于进行多目标检测。基于深度学习的目标检测算法包括基于候选区域的two-stage和基于回归的one-stage算法两大类。前者的经典方法有R-CNN、Fast R-CNN、Faster R-CNN,后者的经典方法有YOLO、SSD等。本发明针对粉尘、雨雾等视野较差的恶劣矿山挖掘环境下目标检测困难、检测效率不高的问题，提出了一种基于yolov5算法的矿山挖掘环境下目标检测方法，yolov5具有很快的推理速度和轻巧的网络结构，能够快速准确的完成矿山挖掘环境下的多目标检测任务。

发明内容

针对现有技术目标检测困难、低效的不足，本发明提出了一种对于矿山挖掘环境的多目标检测方法，技术方案如下：

一种对于矿山挖掘环境的多目标检测方法，包括以下步骤：

S1、自制挖掘环境数据集并对自制挖掘环境数据集进行预处理；

S2、利用标注工具对每幅图像进行标注并将数据集划分为训练集和测试集；

S3、搭建YOLOv5网络模型并修改网络模型；

所述yolov5网络模型包括input模块，backbone模块，neck模块和output模块；所述的backbone模块的结构为：第一conv卷积层、第二conv卷积层、第一C3特征提取层、第三conv卷积层、第二C3特征提取层、第四conv卷积层、第三C3特征提取层、第五conv卷积层、第四C3特征提取层、ECA注意力机制层和SPPF层依次连接构成。

通过该模块对自制挖掘环境数据集进行特征提取，得到三个尺寸的特征图，三个尺寸的特征图分别由第二C3特征提取层、第三C3特征提取层和SPPF层输出并送入neck模块进行融合；

所述的neck模块的结构为：第一conv卷积层、第一上采样层、第一融合层，第一C3特征提取层，第二conv卷积层、第二上采样层、第二融合层、第二C3特征提取层，第三conv卷积层、第三融合层、第三C3特征提取层、第四conv卷积层、第四融合层和第四C3特征提取层依次连接构成；

backbone模块中SPPF层的特征图送入neck模块第一conv卷积层；neck模块中第一conv卷积层的特征图通过第一上采样层上采样后与backbone模块第三C3特征提取层的特征图在第一融合层融合，并且还送入第四融合层与第四conv卷积层的特征图融合；neck模块第二conv卷积层的特征图通过第二上采样层上采样后与backbone模块第二C3特征提取层的特征图在第二融合层融合，并且还送入第三融合层与第三conv卷积层的特征图融合；

通过对送入的三个尺寸的特征图进行多尺度融合输出三个预测特征图；第二C3特征提取层输出第三预测特征图、第三C3特征提取层输出第二预测特征图和第四C3特征提取层输出第一预测特征图；

所述output模块包括三个conv卷积层，对neck模块输出的三个预测特征图分别进行卷积，输出三个特征，

S4、将训练集送入修改的YOLOV5网络模型中进行迭代训练，得到矿山环境下目标检测模型，输出相应的目标检测框、识别类型和像素坐标；

进一步的，所述步骤S1具体内容如下：

通过网络爬虫、拍摄以及相机拍取连续的视频，的自制挖掘环境数据集包括光照、夜晚、粉尘、雨雾条件下的矿山挖掘图片。

所诉步骤S2具体内容如下：

采用的标注工具为labelimg标注工具，进行标记过后会变为VOC格式，标注生成.xml后缀的文件，yolov5训练所需要的文件格式是yolo格式，采用.txt后缀，因此把.xml后缀的标签文件转换为.txt后缀文件，再将其分为训练集和测试集。

所述步骤S3具体内容如下：

backbone模块中原来的SPP层改为SPPF层，对SPP层使用的5×5，9×9，13×13三个大尺寸池化核采用多个小尺寸池化核进行替代；所述的9×9池化核替换成两个5×5池化核，13×13池化核替换成3个5×5池化核。

所述的SPPF层依次经过第一conv卷积层、MaxPool最大池化层，concat连接层，第二conv卷积层；其中MaxPool最大池化层包含四条并行的通道，四条并行的通道分别如下：第一条进行一个5×5大小池化核的最大池化操作，第二条为两个5×5大小池化核的最大池化操作，第三条为三个5×5大小池化核的最大池化操作，第四条不进行任何操作；四条通道再进行concat连接和第二conv卷积层输出第三特征图送入neck模块。

backbone模块在原有网络的基础上添加了一个轻量化ECA注意力机制层，将输入的特征图经过全局平均池化特征图从[h,w,c]的矩阵变成[1,1,c]的向量，根据特征图的通道数计算得到自适应的一维卷积核大小kernel_size，将kernel_size用于一维卷积中，得到对于特征图的每个通道的权重，将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图。

卷积核的大小通过一个自适应函数求得：

kernel_size为卷积核大小，c为通道数，∣∣odd表示kernel_size只能取奇数,γ＝2,b＝1

所述步骤S4具体内容如下：

输入640像素×640像素图片尺寸，训练批次大小设置为batch-size＝4，训练迭代次数epochs＝100；通过输入最佳权重和测试图片得到测试结果.

与现有技术相比，本发明的有益效果在于：

1、本发明所述的一种对于矿山挖掘环境的多目标检测方法，能够对矿山挖掘环境中的多个目标同时进行识别，包括挖掘机、卡车、物料等，并计算出各目标的像素坐标，能够得到各目标的相对位置关系；

2、本发明所述的一种对于矿山挖掘环境的多目标检测方法，采用自建的专用矿山挖掘环境数据集，人工分类标注进行训练，训练所得模型所占内存小、检测速度快，能够满足对于矿山挖掘环境中的多个目标检测的实时性要求；

3、本发明所收集的矿山挖掘环境数据集包括雨雾、夜晚、粉尘等多种恶劣工作环境，数据集范围丰富，提高了在恶劣工作环境下的目标检测能力。

4、本发明所述的一种对于矿山挖掘环境的多目标检测方法，对采用的神经网络进行改进，添加了轻量化ECA注意力机制，并且轻量化ECA注意力机制只增加了少量的参数，却能获得明显的性能增益，使神经网络更加关注检测目标，提高了检测效果。

附图说明

图1为本发明所述对于矿山挖掘环境的多目标检测方法流程图；

图2为本发明所述数据集部分图像；

图3为本发明所述数据集类别分类图；

图4为本发明所述YOLOv5网络模型总体训练流程框图；

图5为本发明所述添加EAC注意力机制的yolov5网络结构示意图；

图6为本发明所述方法测试结果图；

图7为本发明所述方法P-R曲线图；

图8为本发明中SPPF层结构图。

具体实施方式

下面结合附图以具体实施例的形式对本发明做出进一步详细的说明。

如图1所示，一种对于矿山挖掘环境的多目标检测方法，包括以下步骤：

S1、自制挖掘环境数据集并对自制挖掘环境数据集进行预处理；

通过网络爬虫、拍摄以及相机拍取连续的视频，然后再将视频每隔10帧切成若干图片，共收集了15000张矿山挖掘环境图片，如图2所示；收集的图片包括光照、夜晚、粉尘、雨雾条件下的矿山挖掘场景。采用Mosaic数据增强、自适应缩放处理等数据处理，对图片进行随机水平或垂直翻转、裁剪、尺度变换处理；其中自适应缩放处理：先将图片尺寸缩小，对输入的图像自适应添加少量的黑边成为正方形，将图像统一缩放到(640，640)，在送入yolov5网络中学习；Mosaic数据增强:将四张图片，进行随机裁剪、缩放后再随机排布拼接后形成一张图片。

S2、利用标注工具对每幅图像进行标注并将数据集划分为训练集和测试集；

所述的矿山挖掘环境数据集采用VOC数据集格式，采用的标注工具为labelimg标注工具；数据集的标签如图3所示，分为6种，其中excavation表示挖掘机，truck表示装载车，sand表示沙子物料，soil表示土壤物料，stone表示石头物料，colliery表示煤矿物料。Labelimg进行标记过后会变为VOC格式，标注生成.xml后缀的文件，yolov5训练所需要的文件格式是yolo格式，采用.txt后缀，因此把.xml后缀的标签文件转换为.txt后缀文件，再将其分为训练集和测试集；将标注的数据集按照8：2的比例划分为训练集、测试集，训练集为12000张，测试集为3000张；

S3、搭建YOLOv5网络模型并修改网络模型；

S31、搭建YOLOv5网络模型

yolov5网络模型包括input模块，backbone模块，neck模块和output模块。所述的backbone模块包括五个conv卷积层、四个C3特征提取层、一个注意力机制层和一个SPPF层，对自制挖掘环境数据集进行特征提取得到三个尺寸的特征图，并送入neck模块进行融合；所述的neck模块包括四个conv卷积层、三个C3特征提取层、两个上采样层和四个融合层，对送入的三个尺寸的特征图进行多尺度融合输出三个预测特征图；所述output模块包括三个conv卷积层，对neck模块输出的三个预测特征图分别进行卷积。

YOLOv5网络模型总体训练流程框图如图4所示：

input模块输入(640，640，3)的图片；

backbone模块的结构为第一conv卷积层、第二conv卷积层、第一C3特征提取层、第三conv卷积层、第二C3特征提取层、第四conv卷积层、第三C3特征提取层、第五conv卷积层、第四C3特征提取层、ECA注意力机制层和SPPF层依次连接构成。

三个尺寸的特征图分别由第二C3特征提取层、第三C3特征提取层和SPPF层输出并送入neck模块进行融合；其中第二C3特征提取层输出的特征图尺寸为[80，80，128]，第三C3特征提取层输出的特征图尺寸为[40，40，256]，SPPF层输出的特征图尺寸为[20，20，512]。

neck模块的结构为第一conv卷积层、第一上采样层、第一融合层，第一C3特征提取层，第二conv卷积层、第二上采样层、第二融合层、第二C3特征提取层，第三conv卷积层、第三融合层、第三C3特征提取层、第四conv卷积层、第四融合层和第四C3特征提取层依次连接构成；

neck模块中第一conv卷积层尺寸为[20，20，256]的特征图与第四conv卷积层尺寸为[20，20，256]的特征图在第四融合层中融合，第二conv卷积层尺寸为[40，40，128]的特征图与第三conv卷积层尺寸为[40，40，128]的特征图在第三融合层中融合；

backbone模块中SPPF层尺寸为[20，20，512]特征图送入neck模块第一conv卷积层；backbone模块中第二C3特征提取层尺寸为[80，80，128]的特征图与neck模块中第二conv卷积层的特征图通过第二上采样层上采样后在第二融合层融合；backbone模块中第三C3特征提取层尺寸为[40，40，256]的特征图与neck模块中第一conv卷积层的特征图通过第一上采样层上采样后在neck模块中第一融合层融合；

第二C3特征提取层输出尺寸为[80,80,128]的第三预测特征图、第三C3特征提取层输出尺寸为[40,40,256]的第二预测特征图和第四C3特征提取层输出尺寸为[40,40,512]的第一预测特征图；

output模块由三个独立的conv卷积层构成，预测特征图分别通过一个conv卷积层完成输出。

S32、修改YOLOv5网络模型

第一、backbone模块在原有网络的基础上添加了一个轻量化ECA注意力机制层，如图所示，将输入的特征图经过全局平均池化特征图从[20，20，512]的矩阵变成[1,1,512]的向量，根据特征图的通道数计算得到自适应的一维卷积核大小kernel_size，将kernel_size用于一维卷积中，得到对于特征图的每个通道的权重，将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图。

卷积核的大小通过一个自适应函数求得：

kernel_size为卷积核大小，c为通道数，∣∣odd表示kernel_size只能取奇数,γ＝2,b＝1；

第二、backbone模块中原来的SPP层改为SPPF层，对SPP层使用的5×5，9×9，13×13三个大尺寸池化核采用多个小尺寸池化核进行替代；所述的9×9池化核替换成两个5×5池化核，13×13池化核替换成3个5×5池化核。

所述的SPPF层依次经过第一conv卷积层、MaxPool最大池化层，concat连接层，第二conv卷积层；其中MaxPool最大池化层包含四条并行的通道，四条并行的通道分别如下：第一条进行一个5×5大小池化核的最大池化操作，第二条为两个5×5大小池化核的最大池化操作，第三条为三个5×5大小池化核的最大池化操作，第四条不进行任何操作；四条通道再进行concat连接和第二conv卷积层输出第三特征图送入neck模块。

S33、构建损失函数

yolov5网络损失函数由分类损失(Classification_Loss)、定位损失(Localization_Loss)和置信度损失(Confidence_Loss)三部分组成；定位损失采用GIOU_loss计算，为预测框与标定框之间的误差，置信度损失和分类损失采用BCEWithLogitsLoss计算；其中，定位损失函数GIoU_loss的计算如公式如下：

Localization_Loss＝1-GIoU_loss1

其中M为预测框，N为真实框，令Q表示包含M与N的最小外接矩形，P为M与N交集，R为M与N的并集；

yolov5网络损失函数公式为：

Loss_总＝θ₁×Localization_Loss+θ₂×Localization_Loss+θ₃×Confidence_Loss，其中θ₁、θ₂、θ₃为权重系数；

S34、修改数据配置文件

修改data目录下的相应的common.yaml文件，其中包括修改训练集和测试集的路径，修改需要检测的类别数为6，修改需要识别的类别的名字为excavator、truck、sand、soil、stone、colliery；

S35、修改模型配置文件

修改models目录下的yolov5s.yaml文件，将需要检测的类别数改为6。

S4、将训练集送入YOLOV5网络中进行迭代训练，得到矿山环境下目标检测模型，输出相应的目标检测框、识别类型和像素坐标；

输入640像素×640像素图片尺寸，训练批次大小设置为batch-size＝4，训练迭代次数epochs＝100；通过输入最佳权重和测试图片得到测试结果，如图6所示。

评估本发明方法对于矿山挖掘环境的多目标检测的性能

本发明采用的模型评价指标包括：平均精度值(mAP)、精准率(Precision)、召回率(Recall)；其中精准率表示被分为正例的示例中实际为正例的比例，可由公式

得出；召回率表示所有正例中被分对的比例，可由公式

得出；其中TP为模型将其预测成为正例并且样本的真实类别也是正例的数目，FP为模型将其预测成为正例但是样本的真实类别是负例的数目，FN为模型将其预测成为负例但样本的真实类别是正例的数目；

P-R曲线图如图7所示，P-R曲线图中的P为Precision(精准率)，R为Recall(召回率)，其代表的是精准率与召回率的关系，Recall设置为横坐标，Precision设置为纵坐标；P-R曲线下围成的面积即AP，所有类别AP平均值即mAP。mAP@0.5&mAP@0.5:0.95：，mAP是用以衡量识别精度，@后面的数表示判定iou为正负样本的阈值，@0.5:0.95表示阈值取0.5:0.05:0.95后取均值；

本发明训练后模型的Precision、Recall、mAP_0.5、mAP_0.5:0.95最高分别能够达到0.98282，0.96807，0.98155，0.73653。

本发明提供了一种对于矿山挖掘环境的多目标检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种对于矿山挖掘环境的多目标检测方法，包括以下步骤：

S1、自制挖掘环境数据集并对自制挖掘环境数据集进行预处理；

S2、利用标注工具对每幅图像进行标注并将数据集划分为训练集和测试集；

S3、搭建YOLOv5网络模型并修改网络模型；

S4、将训练集送入修改的YOLOV5网络模型中进行迭代训练，得到矿山环境下目标检测模型，输出相应的目标检测框、识别类型和像素坐标；

其中，所述YOLOV5网络模型包括input模块，backbone模块，neck模块和output模块；所述的backbone模块的结构为：第一conv卷积层、第二conv卷积层、第一C3特征提取层、第三conv卷积层、第二C3特征提取层、第四conv卷积层、第三C3特征提取层、第五conv卷积层、第四C3特征提取层、ECA注意力机制层和SPPF层依次连接构成。

通过该模块对自制挖掘环境数据集进行特征提取，得到三个尺寸的特征图，三个尺寸的特征图分别由第二C3特征提取层、第三C3特征提取层和SPPF层输出并送入neck模块进行融合；

所述的neck模块的结构为：第一conv卷积层、第一上采样层、第一融合层，第一C3特征提取层，第二conv卷积层、第二上采样层、第二融合层、第二C3特征提取层，第三conv卷积层、第三融合层、第三C3特征提取层、第四conv卷积层、第四融合层和第四C3特征提取层依次连接构成；

backbone模块中SPPF层的特征图送入neck模块第一conv卷积层；neck模块中第一conv卷积层的特征图通过第一上采样层上采样后与backbone模块第三C3特征提取层的特征图在第一融合层融合，并且还送入第四融合层与第四conv卷积层的特征图融合；neck模块第二conv卷积层的特征图通过第二上采样层上采样后与backbone模块第二C3特征提取层的特征图在第二融合层融合，并且还送入第三融合层与第三conv卷积层的特征图融合；

通过对送入的三个尺寸的特征图进行多尺度融合输出三个预测特征图；第二C3特征提取层输出第三预测特征图、第三C3特征提取层输出第二预测特征图和第四C3特征提取层输出第一预测特征图；

所述output模块包括三个conv卷积层，对neck模块输出的三个预测特征图分别进行卷积。

2.根据权利要求1所述的对于矿山挖掘环境的多目标检测方法，其特征在于，步骤S1具体内容如下：

通过网络爬虫、拍摄以及相机拍取连续的视频，的自制挖掘环境数据集包括光照、夜晚、粉尘、雨雾条件下的矿山挖掘图片。

3.根据权利要求1所述的对于矿山挖掘环境的多目标检测方法，其特征在于，步骤S2具体内容如下：

采用的标注工具为labelimg标注工具，进行标记过后会变为VOC格式，标注生成.xml后缀的文件，yolov5训练所需要的文件格式是yolo格式，采用.txt后缀，因此把.xml后缀的标签文件转换为.txt后缀文件，再将其分为训练集和测试集。

4.根据权利要求1所述的对于矿山挖掘环境的多目标检测方法，其特征在于，

YOLOV5网络模型backbone模块中，所述的SPPF层依次由第一conv卷积层、MaxPool最大池化层，concat连接层和第二conv卷积层连接构成；其中MaxPool最大池化层包含四条并行的通道，四条并行的通道分别如下：第一条进行一个5×5大小池化核的最大池化操作，第二条为两个5×5大小池化核的最大池化操作，第三条为三个5×5大小池化核的最大池化操作，第四条不进行任何操作；四条通道再进行concat连接和第二conv卷积层输出第三特征图送入neck模块。

5.根据权利要求1所述的对于矿山挖掘环境的多目标检测方法，其特征在于，

YOLOV5网络模型backbone模块中，ECA注意力机制层，将输入的特征图经过全局平均池化特征图从[h,w,c]的矩阵变成[1,1,c]的向量，根据特征图的通道数计算得到自适应的一维卷积核大小kernel_size，将kernel_size用于一维卷积中，得到对于特征图的每个通道的权重，将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图；

卷积核的大小通过一个自适应函数求得：

kernel_size为卷积核大小，c为通道数，∣ ∣odd表示kernel_size只能取奇数,γ＝2,b＝1。

6.根据权利要求1所述的对于矿山挖掘环境的多目标检测方法，其特征在于，步骤S4具体内容如下：

输入640像素×640像素图片尺寸，训练批次大小设置为batch-size＝4，训练迭代次数epochs＝100；通过输入最佳权重和测试图片得到测试结果。

Images