CN114120093B - 一种基于改进YOLOv5算法的煤矸目标检测方法 - Google Patents
一种基于改进YOLOv5算法的煤矸目标检测方法 Download PDFInfo
- Publication number
- CN114120093B CN114120093B CN202111451670.1A CN202111451670A CN114120093B CN 114120093 B CN114120093 B CN 114120093B CN 202111451670 A CN202111451670 A CN 202111451670A CN 114120093 B CN114120093 B CN 114120093B
- Authority
- CN
- China
- Prior art keywords
- coal gangue
- algorithm
- yolov
- detection
- gangue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003245 coal Substances 0.000 title claims abstract description 172
- 238000001514 detection method Methods 0.000 title claims abstract description 168
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000005286 illumination Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 30
- 230000006872 improvement Effects 0.000 claims description 21
- 238000002360 preparation method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 235000014653 Carica parviflora Nutrition 0.000 claims description 3
- 241000243321 Cnidaria Species 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013210 evaluation model Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000002485 combustion reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
为了克服现有煤矸识别算法不稳定的问题，本发明提供一种基于改进YOLOv5算法的煤矸目标检测方法，通过在骨干网络中引入深度可分离卷积来精简原网络模型参数数量从而提高网络的检测速度；通过引入卷积块注意模型增强煤矸目标在图像中的显著度，解决煤矸目标在输送带上由于光照等因素使得煤矸目标显著下降进而导致目标难以准确检测的问题；针对煤矸小目标难以检测的问题，在原有网络head部分增加一层检测层，实现head部分的多尺度检测；最后对改进的YOLOv5算法进行训练，得到最终的检测网络，本发明不仅可以准确快速的分辨煤矸目标，同时对煤矸小目标也有较好的检测效果。
Description
技术领域
本发明涉及煤矸图像目标检测技术领域，具体是一种基于改进YOLOv5算法的煤矸目标检测方法。
背景技术
原煤在开采过程中伴随有大量的非煤杂物，掺杂矸石等杂物的原煤会严重影响燃烧质量，无法实现煤炭的充分燃烧，大大降低煤炭的燃烧效率，因此研究煤炭运输过程中矸石及其他非煤杂物智能分选机器人是选煤生产的重要课题，目前比较成熟的选煤技术主要为跳汰法、重介质分选及射线射透法三种，跳汰法工艺简单，用水量少，但分选精度低，设备体积大，结构复杂，维护成本高；重介质法分选粒度范围宽，精度高，但需要分选介质，介质回收净化系统复杂，系统不稳定易影响分选效果；射线射透法分选效率高，工艺简单，但会产生辐射危害健康。因此研究智能煤矸分选机器人用目标检测方法快速高效的分选出矸石而从代替传统的分选方法具有重要意义。
随着科学技术的不断发展，机器视觉及相关算法取得了显著的成果，一方面相关研究人员采用传统机器学习的方法提取煤矸石特征，基于煤矸在灰度、纹理、反射光线等方面的物理性质差异，在结合支持向量机等机器学习方法来进行模型的训练以识别煤和矸石，但是由于煤矸形态多样，特征差异不明显，人工设计的特征对于煤矸多样性的变化没有很好的适应性，而特征提取的好坏直接影响模型的性能，模型的泛化能力较弱，难以满足选矸机器人的工况要求；传统的机器学习方法往往依赖于人的主观判断，相较于传统机器视觉检测方法，近年来基于深度学习的目标检测技术表现出强大的优越性，利用卷积神经网络技术实现目标高维特征的自动提取，使得选矸机器人能适应复杂环境和煤矸的多样性，作为机器视觉的研究分支，基于深度学习的目标检测技术在车辆检测、行人检测、水果采摘检测等领域被广泛应用。本文的煤矸石检测方法是以基于深度学习的目标检测算法为基础，辅助计算机智能、高效地实现对图像或视频中煤矸石的识别与定位，进而为煤矸分拣机器人抓取矸石提供基础信息。基于深度学习的煤矸石目标检测能够避免传统图像识别繁琐的预处理过程，可以有效解决因知识、经验或特征获取不足等人为因素所引起的误判率高、分选实时性差等问题，同时在很大程度上节省人力和时间成本。煤矸石检测是实现煤矸分拣机器人自动分选的重要环节，将深度学习技术应用于此，对煤炭工业的绿色发展具有重要意义。
发明内容
为了克服现有煤矸识别算法不稳定的问题，本发明提供一种基于改进YOLOv5算法的煤矸目标检测方法，通过在骨干网络中引入深度可分离卷积来精简原网络模型参数数量从而提高网络的检测速度；通过引入卷积块注意模型增强煤矸目标在图像中的显著度，解决煤矸目标在输送带上由于光照等因素使得煤矸目标显著下降进而导致目标难以准确检测的问题；针对煤矸小目标难以检测的问题，在原有网络head部分增加一层检测层，实现head部分的多尺度检测；最后对改进的YOLOv5算法进行训练，得到最终的检测网络，本发明不仅可以准确快速的分辨煤矸目标，同时对煤矸小目标也有较好的检测效果。
为实现上述目的，本发明采用以下技术方案：
步骤1：构建基于改进YOLOv5的煤矸目标检测模型
步骤1.1：引入深度可卷积分离网络代替骨干网络中的标准卷积网络，引入深度卷积网络可以将原有网络的计算量降低和参数减少，实现对输入特征图的降维从而提高网络的检测速度；
步骤1.2：引入卷积块注意模型，在原有网络模型的骨干网络后添加并联的的通道注意力机制和空间注意力机制，所述的卷积块注意模型用于骨干网络特征提取过程中加强煤矸图像中目标特征的提取，进一步解决煤矸目标在输送带上由于光照等因素使得煤矸目标显著性下降进而导致目标难以准确检测的问题；
步骤1.3：增加煤矸小目标检测层，基于改进YOLOv5的煤矸目标检测模型增加为4尺度的预测层，实现head部分的多尺度检测；
步骤1.4：由于步骤1.3中增加了一层检测层，在先验框部分增加一组小目标尺寸的锚点框，采用K-means自适应算法获取符合煤矸目标尺度特点的锚点框；
步骤2：采集煤矸图像
步骤2.1通过采集选煤厂运动皮带上的煤矸图像，采用旋转、水平镜像的方法来增加不同角度的煤矸图像，建立煤矸目标检测训练集、验证集和测试集，根据6：2：2的比例划分煤矸数据集，即随机选取60％的煤矸图像作为训练集，随机选取20％的煤矸图像作为验证集，随机选取20％的煤矸图像作为测试集，并根据检测目标的需求将类别设置为coal和gangue两类别；
步骤2.2：采用mosaic算法实现煤矸图像的数据增强，通过随机将四张图片随机缩放、随机裁剪、随机排布的方式进行拼接，丰富煤矸目标检测的背景和小目标；并且在训练过程中一次会计算四张图片的数据，使得模型不需要设置很大的batch就可以达到比较好的训练效果，同时丰富的目标背景和样本使得训练的模型具有更强的泛化性能；
步骤3：优化损失函数
步骤3.1：采用DIoU损失函数代替原有的损失函数GIoU，原有的损失函数当预测框和目标框相互包含时，损失函数会退化成IoU，使得定位不准确，丢失优化和收敛方向，影响检测精度；
步骤3.2：对改进YOLOv5算法的预测框筛选方法，采用非极大值抑制NMS方法进行优化，选取最佳预测框；
步骤4：训练步骤1中构建的改进YOLOv5算法的煤矸目标检测模型
步骤4.1：设置训练参数，采用随机优化算法Adam进行优化训练，设置训练的批次大小batch为64，动量参数momentum为0.9，学习率初始设定为0.001，训练迭代次数epoch为500；
步骤4.2：将步骤2中采集的煤矸图像中的训练集和验证集送入构建的基于改进YOLOv5算法的煤矸目标检测模型中进行训练；
步骤4.3：设置自适应缩放图片尺寸为608x608，根据网络设定的输入尺寸大小实现自适应煤矸图像检测训练集和验证集图片的自适应缩放；
步骤4.4：训练基于改进YOLOv5算法的煤矸目标检测模型，根据步骤4.1设置的训练参数训练模型，根据步骤3.1损失函数的变化趋势，调整训练模型的学习率大小和迭代次数，直到损失函数变化趋于稳定的状态，从而确定最终的训练模型；
步骤4.5：训练后的改进YOLOv5算法的煤矸检测模型，进行性能评估与评价，得到收敛良好的网络模型；
步骤4.6：将步骤2.1设置的测试集输送带步骤4.5训练好的基于改进YOLOv5算法的煤矸检测模型中，测试基于改进YOLOv5算法的煤矸检测模型性能；
步骤5：评估模型
步骤5.1：根据步骤4.4训练的基于改进YOLOv5算法的煤矸目标检测模型，从平均检测精度、检测速度等评价指标对模型进行评估；
步骤5.2：判断基于改进YOLOv5的煤矸目标检测模型评估结果的检测精度和检测速度是否满足实际选煤厂的工况应用需求，如果基于改进YOLOv5算法的煤矸目标检测模型满足选煤厂实际工况需求则执行步骤7，如果基于改进YOLOv5算法的煤矸目标检测模型不能满足选煤厂实际工况需求则执行步骤6；
步骤6：修正步骤1中构建的基于改进YOLOv5的煤矸目标检测模型，通过调整网络模型宽度width和深度depth等参数，并转到步骤4中重新训练基于改进YOLOv5算法的煤矸目标检测模型；
步骤7：将步骤5中评估的满足选煤厂实际工况的基于改进YOLOv5算法的煤矸检测模型用于选矸机器人实际煤矸目标检测中。
与现有技术相比，本发明的有益效果如下：
1、针对原有网络结构过于复杂，检测速度难以满足实际的工况需求，引入深度可卷积分离网络代替骨干网络中的标准卷积网络，引入深度卷积网络可以将原有网络的计算量降低和参数减少，实现对输入特征图的降维从而提高网络的检测速度。
2、针对煤矸目标在输送带上由于光照等因素使得煤矸目标显著下降进而导致目标难以准确检测的问题，引入卷积块注意模型，在原有网络模型的骨干网络后添加并联的的通道注意力机制和空间注意力机制，所述的卷积块注意模型用于骨干网络特征提取过程中加强煤矸图像中目标特征的提取，进一步解决煤矸目标在输送带上由于光照等因素使得煤矸目标显著性下降进而导致目标难以准确检测的问题。
3、针对煤矸目标尺寸不一、存在诸多小目标，本发明改进网络检测层的结构，增加一个尺度的检测层，对煤矸小目标具有较好的检测效果，实现煤矸目标多尺度检测，提高煤矸小目标的检测精度。
附图说明
图1是改进YOLOv5算法的煤矸目标检测方法流程图
图2是改进YOLOv5算法的煤矸目标检测方法效果图
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义或者说明，本文所使用的所有的技术和科学术语都属于本申请的技术领域的技术人员通常理解的含义相同。本文在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
其中一个实施例中，本发明提供一种提供一种基于改进YOLOv5算法的煤矸目标检测方法，通过在骨干网络中引入深度可分离卷积来精简原网络模型参数数量从而提高网络的检测速度；通过引入卷积块注意模型增强煤矸目标在图像中的显著度，解决煤矸目标在输送带上由于光照等因素使得煤矸目标显著下降进而导致目标难以准确检测的问题；针对煤矸小目标难以检测的问题，在原有网络head部分增加一层检测层，实现head部分的多尺度检测；最后对改进的YOLOv5算法进行训练，得到最终的检测网络，本发明不仅可以准确快速的分辨煤矸目标，同时对煤矸小目标也有较好的检测效果。
如附图1所示，本实施例的基于改进YOLOv5算法的煤矸目标检测模型流程图，具体包括：
步骤1：构建基于改进YOLOv5的煤矸目标检测模型
一般而言，目标检测算法一般包括三部分组成，backbone、neck和head，骨干网络backbone用于对输入图像进行特征提取，颈部网络neck用于进一步整合特征和头部head多分类器模块基于特征融合模块输出多尺度的融合特征进行分类目标检测，从而输出最终的煤矸目标检测结果。YOLOv5目标检测模型采用CSPDarknet作为特征提取的骨干网络，CSPDarknet可以将数据梯度的变化集成到特征图上，可以进一步减少模型的参数量，可以解决其他网络优化的梯度信息重复问题，提高推理的准确率和速度；在输入特征到骨干网络前需要经过Focus结构，Focus结构的核心是对图片进行切片操作，以608x608x3的图片作为输入，经过切片操作后，变成304x304x12的特征图，最后使用32个卷积核进行一次卷积，变成304x304x32的特征图，最终得到了没有信息丢失情况下的二倍下采样特征图。在骨干网络中，使用带有残差结构的CSP1_X，因为骨干网络较深，残差结构的加入和使用使得层与层之间进行反向传播时，梯度值得到增强，有效防止网络加深时所引起的梯度消失，得到的特征粒度更细。在Neck中使用CSP2_X，相对于单纯的CBL结构将主干网络的输出分成两个分支，后将其进行特征融合，使得网络对特征的融合能力得到加强，保留了更丰富的特征信息。
YOLO系列算法凭借其优良的性能被广泛应用于工业现场，YOLO系列发展至今已经发展到版本5即YOLOv5，本发明选择基于YOLOv5算法的检测模型进行改进，基于改进的YOLOv5算法煤矸目标检测模型包括：通过在骨干网络中引入深度可分离卷积来精简原网络模型参数数量从而提高网络的检测速度；通过引入卷积块注意模型增强煤矸目标在图像中的显著度，解决煤矸目标在输送带上由于光照等因素使得煤矸目标显著下降进而导致目标难以准确检测的问题；针对煤矸小目标难以检测的问题，在原有网络head部分增加一层检测层，实现head部分的多尺度检测；最后对改进的YOLOv5算法进行训练，得到最终的检测网络，本发明不仅可以准确快速的分辨煤矸目标，同时对煤矸小目标也有较好的检测效果。
步骤1.1：引入深度可卷积分离网络代替骨干网络中的标准卷积网络，引入深度卷积网络可以将原有网络的计算量降低和参数减少，实现对输入特征图的降维从而提高网络的检测速度；
对于深度可分离卷积网络，如果输入一张3通道的煤矸图像进行深度卷积处理，每一个卷积核负责一个通道，所以如果输入一张3通道的图像经过运算后生成3个特征图。经过深度卷积完成后的特征图数量与输入层的通道数保持一致，无法扩展特征图数量，这种卷积操作只在每个单独通道上进行卷积运算，不能够有效利用不同通道上的特征信息，此后通过逐点卷积将上述特征图进行组合，将上一步的特征图在深度方向上进行加权组合，生成新的特征图，并且数量与卷积核的数量保持一致；深度可分离卷积网络通过拆分空间维度和通道维度的相关性，达到减少参数量的效果，不标准卷积网络相比，深度可分离卷积网络的参数量和运算成本较低；
步骤1.2：引入卷积块注意模型，在原有网络模型的骨干网络后添加并联的的通道注意力机制和空间注意力机制，所述的卷积块注意模型用于骨干网络特征提取过程中加强煤矸图像中目标特征的提取，进一步解决煤矸目标在输送带上由于光照等因素使得煤矸目标显著性下降进而导致目标难以准确检测的问题；
卷积块注意模型主要包括通道注意力机制和空间注意力机制，在YOLOv5网络模型的骨干网络后面添加并联的通道注意力机制和空间注意力机制，骨干网络的输出分别进入到通道注意力模块和空间注意力模块，在将两模块分别输出的特征图进行相加，与骨干网络的输出特征图进行融合操作，融合操作之后的特征图输入到YOLOv5网络的neck层；
步骤1.3：增加煤矸小目标检测层，基于改进YOLOv5的煤矸目标检测模型增加为4尺度的预测层，实现head部分的多尺度检测；输入的煤矸图像为608x608x3，分别经过4倍、8倍、16倍、32倍的上采样特征层，增加一层检测层后得到的四个特征尺度分别为：152x152尺度特征图、76x76尺度特征图、38x38尺度特征图和19x19尺度特征图，用于实现煤矸图像的多尺度检测，进一步提高改进网络的检测精度。
步骤1.4：由于步骤1.3中增加了一层检测层，在先验框部分增加一组小目标尺寸的锚点框，采用K-means自适应算法获取符合煤矸目标尺度特点的锚点框；根据步骤1.3中增加小目标检测层即152x152尺度特征图，划分的小尺度网格需要增加对应的小尺度anchor，因此改进后的网络模型其先验框anchor增加为对应的4个检测尺度的12组框。
步骤2：采集煤矸图像
步骤2.1通过采集选煤厂运动皮带上的煤矸图像，采用旋转、水平镜像的方法来增加不同角度的煤矸图像，建立煤矸目标检测训练集、验证集和测试集，根据6：2：2的比例划分煤矸数据集，即随机选取60％的煤矸图像作为训练集，随机选取20％的煤矸图像作为验证集，随机选取20％的煤矸图像作为测试集，并根据检测目标的需求将类别设置为coal和gangue两类别；
步骤2.2：采用mosaic算法实现煤矸图像的数据增强，通过随机将四张图片随机缩放、随机裁剪、随机排布的方式进行拼接，丰富煤矸目标检测的背景和小目标；并且在训练过程中一次会计算四张图片的数据，使得模型不需要设置很大的batch就可以达到比较好的训练效果，同时丰富的目标背景和样本使得训练的模型具有更强的泛化性能；
步骤3：优化损失函数
步骤3.1：采用DIoU损失函数代替原有的损失函数GIoU，原有的损失函数当预测框和目标框相互包含时，损失函数会退化成IoU，使得定位不准确，丢失优化和收敛方向，影响检测精度；
步骤3.2：对改进YOLOv5算法的预测框筛选方法，采用非极大值抑制NMS方法进行优化，选取最佳预测框；
步骤4：训练步骤1中构建的改进YOLOv5算法的煤矸目标检测模型
步骤4.1：设置训练参数，采用随机优化算法Adam进行优化训练，设置训练的批次大小batch为64，动量参数momentum为0.9，学习率初始设定为0.001，训练迭代次数epoch为500；
步骤4.2：将步骤2中采集的煤矸图像中的训练集和验证集送入构建的基于改进YOLOv5算法的煤矸目标检测模型中进行训练；
步骤4.3：设置自适应缩放图片尺寸为608x608，根据网络设定的输入尺寸大小实现自适应煤矸图像检测训练集和验证集图片的自适应缩放；
步骤4.4：训练基于改进YOLOv5算法的煤矸目标检测模型，根据步骤4.1设置的训练参数训练模型，根据步骤3.1损失函数的变化趋势，调整训练模型的学习率大小和迭代次数，直到损失函数变化趋于稳定的状态，从而确定最终的训练模型；
步骤4.5：训练后的改进YOLOv5算法的煤矸检测模型，进行性能评估与评价，得到收敛良好的网络模型；
步骤4.6：将步骤2.1设置的测试集输送带步骤4.5训练好的基于改进YOLOv5算法的煤矸检测模型中，测试基于改进YOLOv5算法的煤矸检测模型性能；
步骤5：评估模型
步骤5.1：根据步骤4.4训练的基于改进YOLOv5算法的煤矸目标检测模型，从平均检测精度、检测速度等评价指标对模型进行评估；
步骤5.2：判断基于改进YOLOv5的煤矸目标检测模型评估结果的检测精度和检测速度是否满足实际选煤厂的工况应用需求，如果基于改进YOLOv5算法的煤矸目标检测模型满足选煤厂实际工况需求则执行步骤7，如果基于改进YOLOv5算法的煤矸目标检测模型不能满足选煤厂实际工况需求则执行步骤6；
步骤6：修正步骤1中构建的基于改进YOLOv5的煤矸目标检测模型，通过调整网络模型宽度width和深度depth等参数，并转到步骤4中重新训练基于改进YOLOv5算法的煤矸目标检测模型；
步骤7：将步骤5中评估的满足选煤厂实际工况的基于改进YOLOv5算法的煤矸检测模型用于选矸机器人实际煤矸目标检测中。
如图2基于改进YOLOv5算法的煤矸检测实际检测效果图，即将未知标签的图像输入到最佳检测模型中输出的检测结果，网络模型定位边界框几乎包围煤矸目标且类别概率很高，不存在漏检和错检问题。改进YOLOv5算法的网络模型并没有因为精简结构而降低检测效果，不存在错检与漏检问题且类别概率很高。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替执行。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (7)
1.一种基于改进YOLOv5算法的煤矸目标检测方法，其特征在于，包括以下步骤：
步骤1：构建基于改进YOLOv5的煤矸目标检测模型
步骤1.1：引入深度可卷积分离网络代替骨干网络中的标准卷积网络，引入深度卷积网络可以将原有网络的计算量降低和参数减少，实现对输入特征图的降维从而提高网络的检测速度；
步骤1.2：引入卷积块注意模型，在原有网络模型的骨干网络后添加并联的的通道注意力机制和空间注意力机制，所述的卷积块注意模型用于骨干网络特征提取过程中加强煤矸图像中目标特征的提取，进一步解决煤矸目标在输送带上由于光照因素使得煤矸目标显著性下降进而导致目标难以准确检测的问题；
步骤1.3：增加煤矸小目标检测层，基于改进YOLOv5的煤矸目标检测模型增加为4尺度的预测层，实现head部分的多尺度检测；
步骤1.4：由于步骤1.3中增加了一层检测层，在先验框部分增加一组小目标尺寸的锚点框，采用K-means自适应算法获取符合煤矸目标尺度特点的锚点框；
步骤2：采集煤矸图像
步骤2.1通过采集选煤厂运动皮带上的煤矸图像，采用旋转、水平镜像的方法来增加不同角度的煤矸图像，建立煤矸目标检测训练集、验证集和测试集；
步骤2.2：采用mosaic算法实现煤矸图像的数据增强，通过随机将四张图片随机缩放、随机裁剪、随机排布的方式进行拼接；
步骤3：优化损失函数
步骤3.1：采用DIoU损失函数代替原有的损失函数GIoU，原有的损失函数当预测框和目标框相互包含时，损失函数会退化成IoU，使得定位不准确，丢失优化和收敛方向，影响检测精度；
步骤3.2：对改进YOLOv5算法的预测框筛选方法，采用非极大值抑制NMS方法进行优化，选取最佳预测框；
步骤4：训练步骤1中构建的改进YOLOv5算法的煤矸目标检测模型
步骤4.1：设置训练参数；
步骤4.2：将步骤2中采集的煤矸图像中的训练集和验证集送入构建的基于改进YOLOv5算法的煤矸目标检测模型中进行训练；
步骤4.3：设置自适应缩放图片尺寸为608x608，根据网络设定的输入尺寸大小实现自适应煤矸图像检测训练集和验证集图片的自适应缩放；
步骤4.4：训练基于改进YOLOv5算法的煤矸目标检测模型；
步骤4.5：训练后的改进YOLOv5算法的煤矸检测模型，进行性能评估与评价，得到收敛良好的网络模型；
步骤4.6：将步骤2.1设置的测试集输送带步骤4.5训练好的基于改进YOLOv5算法的煤矸检测模型中，测试基于改进YOLOv5算法的煤矸检测模型性能；
步骤5：评估模型
步骤5.1：根据步骤4.4训练的基于改进YOLOv5算法的煤矸目标检测模型，从平均检测精度、检测速度评价指标对模型进行评估；
步骤5.2：判断基于改进YOLOv5的煤矸目标检测模型评估结果的检测精度和检测速度是否满足实际选煤厂的工况应用需求，如果基于改进YOLOv5算法的煤矸目标检测模型满足选煤厂实际工况需求则执行步骤7，如果基于改进YOLOv5算法的煤矸目标检测模型不能满足选煤厂实际工况需求则执行步骤6；
步骤6：修正步骤1中构建的基于改进YOLOv5的煤矸目标检测模型；
步骤7：将步骤5中评估的满足选煤厂实际工况的基于改进YOLOv5算法的煤矸检测模型用于选矸机器人实际煤矸目标检测中。
2.根据权利要求1所述的一种基于改进YOLOv5算法的煤矸目标检测方法，其特征在于：步骤1.2中，在YOLOv5网络模型的骨干网络后面添加并联的通道注意力机制和空间注意力机制，骨干网络的输出分别进入到通道注意力模块和空间注意力模块，在将两模块分别输出的特征图进行相加，与骨干网络的输出特征图进行融合操作，融合操作之后的特征图输入到YOLOv5网络的neck层。
3.根据权利要求1所述的一种基于改进YOLOv5算法的煤矸目标检测方法，其特征在于：步骤1.3中输入的煤矸图像为608x608x3，分别经过4倍、8倍、16倍、32倍的上采样特征层，增加一层检测层后得到的四个特征尺度分别为：152x152尺度特征图、76x76尺度特征图、38x38尺度特征图和19x19尺度特征图，用于实现煤矸图像的多尺度检测。
4.根据权利要求1所述的一种基于改进YOLOv5算法的煤矸目标检测方法，其特征在于：步骤1.4中采用K-means自适应算法获取符合煤矸目标尺度特点的锚点框，增加小目标检测层即152x152尺度特征图，划分的小尺度网格需要增加对应的小尺度anchor，因此改进后的网络模型其先验框anchor增加为对应的4个检测尺度的12组框。
5.根据权利要求1所述的一种基于改进YOLOv5算法的煤矸目标检测方法，其特征在于：步骤2建立煤矸目标检测训练集、验证集和测试集，根据6：2：2的比例划分煤矸数据集，即随机选取60％的煤矸图像作为训练集，随机选取20％的煤矸图像作为验证集，随机选取20％的煤矸图像作为测试集，并根据检测目标的需求将类别设置为coal和gangue两类别。
6.根据权利要求1所述的一种基于改进YOLOv5算法的煤矸目标检测方法，其特征在于：步骤4.1设置训练参数，采用随机优化算法Adam进行优化训练，设置训练的批次大小batch为64，动量参数momentum为0.9，学习率初始设定为0.001，训练迭代次数epoch为500。
7.根据权利要求1所述的一种基于改进YOLOv5算法的煤矸目标检测方法，其特征在于：步骤6中通过调整网络模型宽度width和深度depth参数来修正基于改进YOLOv5算法的煤矸检测模型，并转到步骤4中重新训练基于改进YOLOv5算法的煤矸目标检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111451670.1A CN114120093B (zh) | 2021-12-01 | 2021-12-01 | 一种基于改进YOLOv5算法的煤矸目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111451670.1A CN114120093B (zh) | 2021-12-01 | 2021-12-01 | 一种基于改进YOLOv5算法的煤矸目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114120093A CN114120093A (zh) | 2022-03-01 |
| CN114120093B true CN114120093B (zh) | 2024-04-16 |
Family
ID=80369242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111451670.1A Active CN114120093B (zh) | 2021-12-01 | 2021-12-01 | 一种基于改进YOLOv5算法的煤矸目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114120093B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882276A (zh) * | 2022-04-28 | 2022-08-09 | 哈尔滨理工大学 | 一种基于YOLO v5的改进目标检测系统 |
| CN116229194A (zh) * | 2023-05-09 | 2023-06-06 | 江西云眼视界科技股份有限公司 | 一种显著性目标检测方法、系统、计算机及可读存储介质 |
| CN116363134B (zh) * | 2023-06-01 | 2023-09-05 | 深圳海清智元科技股份有限公司 | 煤与矸石的识别与分割方法、装置及电子设备 |
| CN117522950B (zh) * | 2023-12-28 | 2024-03-12 | 江西农业大学 | 一种基于机器视觉的植物茎杆生长的几何参数测量方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135468A (zh) * | 2019-04-24 | 2019-08-16 | 中国矿业大学(北京) | 一种煤矸石的识别方法 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| AU2020103494A4 (en) * | 2020-11-17 | 2021-01-28 | China University Of Mining And Technology | Handheld call detection method based on lightweight target detection network |
| WO2021098362A1 (zh) * | 2019-11-19 | 2021-05-27 | 腾讯科技（深圳）有限公司 | 视频分类模型构建、视频分类的方法、装置、设备及介质 |
| WO2021203505A1 (zh) * | 2020-04-09 | 2021-10-14 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
| CN113591689A (zh) * | 2021-07-29 | 2021-11-02 | 安徽理工大学 | 一种煤和矸石rgb图像识别方法及其系统 |
| CN113592825A (zh) * | 2021-08-02 | 2021-11-02 | 安徽理工大学 | 一种基于yolo算法的煤矸实时检测方法 |
| CN113688723A (zh) * | 2021-08-21 | 2021-11-23 | 河南大学 | 一种基于改进YOLOv5的红外图像行人目标检测方法 |
-
2021
- 2021-12-01 CN CN202111451670.1A patent/CN114120093B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135468A (zh) * | 2019-04-24 | 2019-08-16 | 中国矿业大学(北京) | 一种煤矸石的识别方法 |
| WO2021098362A1 (zh) * | 2019-11-19 | 2021-05-27 | 腾讯科技（深圳）有限公司 | 视频分类模型构建、视频分类的方法、装置、设备及介质 |
| WO2021203505A1 (zh) * | 2020-04-09 | 2021-10-14 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| AU2020103494A4 (en) * | 2020-11-17 | 2021-01-28 | China University Of Mining And Technology | Handheld call detection method based on lightweight target detection network |
| CN113591689A (zh) * | 2021-07-29 | 2021-11-02 | 安徽理工大学 | 一种煤和矸石rgb图像识别方法及其系统 |
| CN113592825A (zh) * | 2021-08-02 | 2021-11-02 | 安徽理工大学 | 一种基于yolo算法的煤矸实时检测方法 |
| CN113688723A (zh) * | 2021-08-21 | 2021-11-23 | 河南大学 | 一种基于改进YOLOv5的红外图像行人目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于TW-RN优化CNN的煤矸识别方法研究;郭永存等;《煤炭科学技术》;20210804;全文 * |
| 基于卷积神经网络的煤矸石图像识别;孙立新;;电脑知识与技术;20200725(21);全文 * |
| 改进YOLOv3网络的无人驾驶系统多目标检测算法;林浩志;;工业控制计算机;20200525(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114120093A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114120093B (zh) | 一种基于改进YOLOv5算法的煤矸目标检测方法 | |
| CN111339882B (zh) | 基于实例分割的输电线路隐患检测方法 | |
| CN106296728B (zh) | 一种基于全卷积网络的非限制场景中运动目标快速分割方法 | |
| CN110533084A (zh) | 一种基于自注意力机制的多尺度目标检测方法 | |
| CN108805015A (zh) | 加权卷积自编码长短期记忆网络人群异常检测方法 | |
| CN111209887B (zh) | 针对小目标检测的ssd模型优化方法 | |
| CN110516536A (zh) | 一种基于时序类别激活图互补的弱监督视频行为检测方法 | |
| CN114841244B (zh) | 一种基于鲁棒采样和混合注意力金字塔的目标检测方法 | |
| CN113052210A (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN110009622B (zh) | 一种显示面板外观缺陷检测网络及其缺陷检测方法 | |
| CN112070727B (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
| CN113743505A (zh) | 基于自注意力和特征融合的改进ssd目标检测方法 | |
| CN110222592A (zh) | 一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法 | |
| CN113298817A (zh) | 一种准确率高的遥感图像语义分割方法 | |
| CN114972312A (zh) | 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法 | |
| CN115035371A (zh) | 基于多尺度特征融合神经网络的井壁裂缝识别方法 | |
| CN112861931A (zh) | 一种基于差异注意力神经网络的多级别变化检测方法 | |
| Jiang et al. | Attention M-net for automatic pixel-level micro-crack detection of photovoltaic module cells in electroluminescence images | |
| CN116434012A (zh) | 一种基于边缘感知的轻量型棉铃检测方法及系统 | |
| CN116402769A (zh) | 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法 | |
| CN111104855A (zh) | 一种基于时序行为检测的工作流识别方法 | |
| CN111539434B (zh) | 基于相似度的红外弱小目标检测方法 | |
| Daogang et al. | Anomaly identification of critical power plant facilities based on YOLOX-CBAM | |
| CN115830514B (zh) | 一种适用于带弯曲河道的全河段表面流速计算方法及系统 | |
| CN116721078A (zh) | 一种基于深度学习的带钢表面缺陷检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |