CN116665011A - 一种基于机器视觉的煤矿带式输送机煤流异物识别方法 - Google Patents

一种基于机器视觉的煤矿带式输送机煤流异物识别方法 Download PDF

Info

Publication number
CN116665011A
CN116665011A CN202310635593.8A CN202310635593A CN116665011A CN 116665011 A CN116665011 A CN 116665011A CN 202310635593 A CN202310635593 A CN 202310635593A CN 116665011 A CN116665011 A CN 116665011A
Authority
CN
China
Prior art keywords
image
belt conveyor
machine vision
target detection
foreign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310635593.8A
Other languages
English (en)
Inventor
李军霞
刘少伟
张伟
吴启航
秦志祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202310635593.8A priority Critical patent/CN116665011A/zh
Publication of CN116665011A publication Critical patent/CN116665011A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Control Of Conveyors (AREA)

Abstract

本发明属于机器视觉与图像处理技术领域，公开了一种基于机器视觉的煤矿带式输送机煤流异物识别方法。包括以下步骤：S1：获取带式输送机的煤流异物图像；S2：对异物图像进行增强处理后，对其中的异物进行标注，然后将异物图像数据分为训练集和测试集；S3：基于改进后的YOLOv5算法搭建目标检测模型，所述改进具体包括：在Backbone网络与Neck网络之间设置CA注意力模块，采用FReLU函数代替Backbone网络中的原有卷积层的激活函数，同时，优化损失函数，在现有损失函数上添加惩罚项；S4：通过训练和测试得到最终的目标检测模型；S5、获取实时输送机图像，输入目标检测模型进行异物识别。本发明可以提高检测速度和精度。

Description

一种基于机器视觉的煤矿带式输送机煤流异物识别方法
技术领域
本发明属于机器视觉与图像处理技术领域，特别涉及一种基于机器视觉的煤矿带式输送机煤流异物识别方法。
背景技术
煤矿带式输送机是煤炭运输的重要设备，随着煤炭生产效率的不断提升，保障带式输送机安全可靠运行也变得越来越重要。皮带纵撕危害较大，而皮带纵撕主要由锚杆、槽钢、矸石等非煤异物入侵造成。因此在异物入侵皮带系统的早期及时发现并清理对预防皮带纵撕事故的发生具有重要意义。通过对巡检机器人采集的带式输送机煤流视频的分析和检测，能够及时发现煤流中未被及时清理的异物，提醒巡检人员及时处理，避免异物划伤输送带造成更大的损失。
Retinex的图像增强理论是一类图像增强方法，包括单尺度Retinex算法(SSR)，多尺度Retinex算法(MSR)和带色彩恢复的多尺度Retinex算法(Multi-Scale Retinex withColor Restoration，MSRCR)。其中带色彩恢复多尺度Retinex算法是在MSR方法上加入色彩调节因子，实现了较好的动态范围同时兼顾了优秀的色彩恢复性能。
YOLO系列算法是基于回归的单阶段目标检测算法，该算法将目标框预测与识别进行融合，大幅提高检测速度。现有的YOLOv5模型主要由Input、Backbone、Neck、Prediction四部分组成，Input部分对训练集进行数据增强，之后输入到Backbone中。Backbone部分包括5个卷积层、4个C3模块和一个SPPF模块，用于提取图像特征。Neck部分将提取到的特征进行多尺度的融合。Head部分在三种尺度上对提取到的特征进行预测，输出包含目标类别信息的特征向量。
YOLOv5算法具有较高的检测速度和准确性，但煤矿井下粉尘大、湿气重，矿灯干扰光线变化等原因，从视觉传感器获取得到的原始图像清晰度较差，边缘突出性差，会影响目标检测精度。图像中多尺度目标和因环境导致的目标显著性降低也会使原有算法框架检测精度降低。因此，需要对现有技术中的目标检测算法进行改进，以实现煤矿井下环境较差情况下的带式输送机异物识别。
发明内容
为了克服现有的目标检测算法无法应用于煤矿井下环境较差情况下的带式输送机异物识别的不足，本发明提供一种基于机器视觉的煤矿带式输送机煤流异物识别方法。
为了解决上述技术问题，本发明采用的技术方案为：一种基于机器视觉的煤矿带式输送机煤流异物识别方法，包括以下步骤：
S1：获取带式输送机的煤流异物图像；
S2：对异物图像进行增强处理后，对其中的异物进行标注，然后将异物图像数据分为训练集和测试集；
S3：搭建目标检测模型，所述目标检测模型为对YOLOv5算法进行改进得到，所述改进具体包括：在YOLOv5算法的Backbone网络与Neck网络之间设置CA注意力模块，采用FReLU函数代替Backbone网络中的原有卷积层的激活函数，同时，优化损失函数；
S4：通过训练集数据对目标检测模型进行训练，训练完成后通过测试集数据对目标检测模型进行测试，测试完成后得到最终的目标检测模型；
S5、获取实时输送机图像，对其进行增强处理后，输入步骤S4得到的目标检测模型进行异物识别。
损失函数优化计算公式为：
LγCIOU＝IOUγLCIOU；
其中，γ为参数，IOU表示预测框和真实框的交并比，LCIOU表示原损失函数，其计算公式为：
α是权重参数，V表示B和Bgt的长宽比相似性，b和bgt分别代表预测框和真实框中心点坐标，ρ(·)表示两个中心点之间的距离，c表示预测框和真实框最小外接矩形的对角线距离。
所述γ取值范围为[0，5]。
所述步骤S2和S5中，对图像进行增强处理的方法为：
将图像由RGB色彩空间转换为YCrCb色彩空间，提取Y通道并计算Y通道的均值和方差；
设定均值阈值和方差阈值；
判断图像的均值或方差是否对应的阈值，若大于，则计算前三种尺度下高斯模糊图像的信息熵，并根据信息熵的大小赋予三幅高斯模糊图像不同权重进行图像融合，将融合后的图像作为增强后的图像；
权重计算公式为：
其中，Hk表示模糊尺度为k时图像所对应的信息熵；N表示尺度的数量；
信息熵的计算公式为：
其中，H表示信息熵，P(Zj)表示第j个灰度级出现的概率。
Y通道均值m计算公式为：
Y通道方差计算公式为：
其中，m表示Y通道图像均值，σ2表示Y通道方差，Zj代表Y通道图像灰度级，P(Zj)表示灰度级出现概率。
所述CA注意力模块有三个，分别设置在Backbone网络的第2个C3模块，第三个C3模块和SPPF模块的输出端与Neck网络之间。
所述CA注意力模块包括残差块、X平均池化层、Y平均池化层、信息融合模块、二维卷积模块、Sigmoid激活模块、权重调整模块。
本发明与现有技术相比具有以下有益效果：
1、本发明提供了一种基于机器视觉的煤矿带式输送机煤流异物识别方法，通过对图像进行自适应增强，以及对YOLOv5算法进行改进，在主干网络(Backbone)部分引入CA(Coordinate Attention)模块，可以帮助模型更加精准地定位和识别感兴趣的目标，提高检测速度；同时引入FReLU函数代替主干网络中的原有卷积操作激活函数，进一步提高了检测精度。同时，在损失函数部分添加惩罚项，解决原有损失函数正负样本不均衡的问题。
2、本发明针对煤矿井下成像条件差的特点，通过设定阈值，计算图像Y通道的均值和方差，并判断其与阈值的关系，对大于阈值的图像进行引导处理，否则进行自适应增强算法处理，解决了图像光照不均的问题，进一步提高了异物检测的精度。
附图说明
图1为本发明实施例提供的一种基于机器视觉的煤矿带式输送机煤流异物识别方法的流程示意图；
图2为原YOLOv5结构图；
图3为本发明实施例中采用的CA注意力模块结构图；
图4为本发明实施例采用的改进后的YOLOv5结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种基于机器视觉的煤矿带式输送机煤流异物识别方法，包括以下步骤：
S1：获取带式输送机的煤流异物图像。具体可以利用带式输送机巡检机器人携带的摄像机及相关数据采集设备获取常见异物数据，构建数据集。
S2：对异物图像进行增强处理后，对其中的异物进行标注，然后将异物图像数据分为训练集和测试集。训练集、测试集和验证集的比例为8:2:1。用标注工具labelimg添加标签，标签框包围物体，标识异物的位置及大小，标签名填写异物的种类，标注后的标签文件格式为txt。
本实施例中，采用自适应MSRCR方法增强图像，突出图像特征，解决井下图像光照不均的问题。具体地，本实施例中，对图像进行增强处理的方法为：
(1)将图像由RGB色彩空间转换为YCrCb色彩空间，提取Y通道并计算Y通道的均值和方差。
色彩空间转换公式：
R，G，B分别代表输入图像的一个通道。
Y通道均值公式：
Y通道方差公式：
其中，m表示Y通道图像均值，σ2表示Y通道方差，Zj代表Y通道图像灰度级，P(Zj)表示灰度级出现概率。
(2)设定均值阈值和方差阈值；
(3)判断图像的均值或方差是否对应的阈值，若大于，则计算N种尺度下高斯模糊图像的信息熵，并根据信息熵的大小赋予三幅高斯模糊图像不同权重进行图像融合，将融合后的图像作为增强后的图像；
其中，权重计算公式为：
其中，Hk表示模糊尺度为k时图像所对应的信息熵；N表示尺度的数量，一般为3；信息熵的计算公式为：
其中，H表示信息熵，P(Zj)表示第j个灰度级出现的概率。
增强后的图像的计算公式为：
其中，α和β为经验参数，i表示图像通道，Ii(x，y)代表第i通道图像，Ci(x，y)表示第i个通道的彩色回复因子，用来调节3个通道颜色的比例，N代表模糊尺度个数，k代表第k个模糊尺度，Fk(x，y)是滤波函数，一般为高斯滤波函数，在图像增强时用N个滤波函数分别与原图像做卷积，得到N个照射图像；ωk为每个尺度的权重。表示i通道的增强图像。
S3：搭建目标检测模型，所述目标检测模型为对YOLOv5算法进行改进得到，所述改进具体包括：在YOLOv5算法的Backbone网络与Neck网络之间设置CA注意力模块，采用FReLU函数代替Backbone网络中的原有Conv卷积层的激活函数，同时，优化损失函数。
本实施例中，采用改进型YOLOv5算法作为目标检测模型，如图2所示，现有的YOLOv5模型主要由Input、Backbone、Neck、Prediction四部分组成，Input部分对输入的数据集进行拼接、翻转、剪切等操作进行数据增强，增强后的数据会输入Backbone中。Backbone部分包括5个卷积层、4个C3模块和一个快速空间金字塔池化(Spatial PyramidPooling Fast，SPPF)模块，该部分用于提取图像特征。Neck部分将提取到的特征进行多尺度的融合，增加特征图中所包含的信息。Prediction部分在三种尺度上对提取到的特征进行预测，输出包含目标类别信息的特征向量，之后根据得到的特征向量对待检测图像中目标做出分类和识别并输出检测结果。
如图4所示，本实施例中，在Backbone网络与Neck网络之间设置CA注意力模块，注意力机制能够通过增加目标检测算法对目标区域的关注度，提升目标检测精度，同时提高算法推理速度。CA注意力机制(Coordinate Attention)分别在两个方向进行特征编码，之后将一个方向上获得的远程依赖关系和另一个方向获得的精确位置信息进行融合，最终生成一个对方向和位置敏感的特征图，增强算法对感兴趣目标的关注。CA注意力模块的结构如图3所示，所述CA注意力模块包括残差块、X平均池化层、Y平均池化层、信息融合模块、二维卷积模块、Sigmoid激活模块、权重调整模块。
CA注意力机制的实现可分为两个过程，坐标信息嵌入(Coordinate InformationEmbedding)和坐标注意力生成(Coordinate Attention Generation)。坐标信息嵌入使用大小为H×1和1×W的两个卷积核分别在特征图水平方向和垂直方向作全局池化，进而获取特征图两个方向上的位置信息。坐标注意力生成先将水平方向和垂直方向得到的结果连接得到注意力特征图，再将非线性激活得到的结果分为水平方向和垂直方向的特征图，特征图再经过卷积和Sigmoid激活得到注意力权重，最后将输入特征图和得到的注意权重相乘获得包含感兴趣对象确切位置信息的注意力特征图。CA注意力机制结构如图3所示。
具体地，如图4所示，本实施例中，所述CA注意力模块有三个，分别设置在Backbone网络的第2个C3模块，第三个C3模块和SPPF模块的输出端与Neck网络之间。
本实施例中，采用FReLU函数代替Backbone网络中的原有卷积层Conv的激活函数，FReLU函数在ReLU/PReLU函数的基础上添加空间条件，将ReLU和PReLU扩展为具有像素化建模能力的视觉参数化ReLU。如图4所示，改善后的卷积层用FConv表示。
本实施例中，在原有损失函数基础上添加惩罚项，改善CIOU(CompleteIntersection over Union)负样本不均衡的问题，改进后函数记为γCIOU，改进后的损失函数为：
LγCIOU＝IOUγLCIOU； (9)
其中，γ为参数，IOU表示预测框和真实框的交并比，LCIOU表示原损失函数，其计算公式为：
上述公式中，B和Bgt分别代表预测框和真实框，b和bgt分别代表预测框和真实框中心点坐标，ρ(·)表示两个中心点之间的距离，c表示预测框和真实框最小外接矩形的对角线距离，α是权重参数，V用来衡量B和Bgt的长宽比相似性，RCIOU表示CIOU惩罚项，IOU表示预测框和真实框的交并比。实验表明γ取值为0.5时效果较好。
S4：通过训练集数据对目标检测模型进行训练，训练完成后通过测试集数据对目标检测模型进行测试，测试完成后得到最终的目标检测模型。
测试结果返回异物的边界框坐标(边界框的中心坐标，边界框的长、宽信息)以及异物的种类，根据测试结果不断调整训练参数，优化网络结构，使得最终的模型满足实际需求。
S5、获取实时输送机图像，对其进行增强处理后，输入步骤S4得到的目标检测模型进行异物识别。识别出异物后对异物进行标注，发出警告，提醒工作人员进行处理。
选择参数量：GFLOPS(表示模型所需计算量，每秒十亿次浮点运算数)、mAP-50和FPS(算法检测速度)作为目标检测算法改进效果的评价标准。mAP表示检测模型预测框和真实框的交并比(Intersection over Union，IOU)大于0.5时的平均均值精度，即全部类别平均精度的均值，其计算公式如下：
TP表示被预测为正类的正样本；FP表示被预测为正类的负样本；P表示准确率；IOU大于或等于0.5时为正样本，反之则为负样本；AP表示PR曲线下面积，针对某一分类的n个样本，假设它有m个正例，每一个正例就对应一个召回率R值，对每一个召回率计算最大准确率P，然后对这m个P值求均值。j表示第j个类别，C表示类别总数，p(r)表示PR曲线。
以验证集数据为例，对改进后的算法进行测试。测试结果如表1所示。原YOLOv5目标检测算法mAP-50为94.6％，检测速度为44FPS，参数量7027720，计算量16.0GFLOPS；经本发明实施例的注意力机制、γCIOU和FReLU优化后的YOLOv5目标检测算法mAP-50达到96.9％，检测速度为57FPS，参数量为7063400，计算量16.0GFLOPS；优化后算法在参数量增长较小，计算量不变的情况下比原结构mAP-50提升1.9％；检测速度相比于原网络模型提升14FPS，满足检测实时性的要求。
表1改进算法指标
综上所述，本发明提出一种基于机器视觉的煤矿带式输送机异物识别方法，采用YOLOv5目标识别算法对异物进行识别，通过优化YOLOv5算法框架，在在YOLO算法Head部分引入CA注意力模块帮助模型更加精准地定位和识别感兴趣的目标，提高检测速度；而且，使用FReLU函数代替原有的YOLOv5框架中主干部分的卷积层ReLU激活函数，提高检测精度，加快模型收敛；本发明在在原有损失函数CIOU Loss的基础上引入γCIOU对损失函数进行优化，使回归过程专注于高质量锚框，进一步提高目标检测精度。因此，本发明通过对YOLOv5算法进行改进，训练得到的深度网络模型实时性好，精度较高，能够满足井下实时异物识别的需要。此外，本发明在图像预处理部分提出自适应图像增强方法，根据图像的方差、均值判断是否需要对图像进行增强，在图像融合时根据不同尺度下的高斯模糊图像的信息熵按信息熵的大小赋予不同尺度图像权重进行融合，增加融合后图像的信息量，原有方法图像信息熵为4.64，改进后图像信息熵为4.71，提高图像预处理部分的算法运行速度。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于机器视觉的煤矿带式输送机煤流异物识别方法，其特征在于，包括以下步骤：
S1：获取带式输送机的煤流异物图像；
S2：对异物图像进行增强处理后，对其中的异物进行标注，然后将异物图像数据分为训练集和测试集；
S3：搭建目标检测模型，所述目标检测模型为对YOLOv5算法进行改进得到，所述改进具体包括：在YOLOv5算法的Backbone网络与Neck网络之间设置CA注意力模块，采用FReLU函数代替Backbone网络中的原有卷积层的激活函数，同时，优化损失函数；
S4：通过训练集数据对目标检测模型进行训练，训练完成后通过测试集数据对目标检测模型进行测试，测试完成后得到最终的目标检测模型；
S5、获取实时输送机图像，对其进行增强处理后，输入步骤S4得到的目标检测模型进行异物识别。
2.根据权利要求1所述的一种基于机器视觉的煤矿带式输送机煤流异物识别方法，其特征在于，损失函数优化计算公式为：
LγCIOU＝IOUγLCIOU；
其中，γ为参数，IOU表示预测框和真实框的交并比，LCIOU表示原损失函数，其计算公式为：
α是权重参数，V表示B和Bgt的长宽比相似性，b和bgt分别代表预测框和真实框中心点坐标，ρ(·)表示两个中心点之间的距离，c表示预测框和真实框最小外接矩形的对角线距离。
3.根据权利要求2所述的一种基于机器视觉的煤矿带式输送机煤流异物识别方法，其特征在于，所述γ取值范围为[0,5]。
4.根据权利要求1所述的一种基于机器视觉的煤矿带式输送机煤流异物识别方法，其特征在于，所述步骤S2和S5中，对图像进行增强处理的方法为：
将图像由RGB色彩空间转换为YCrCb色彩空间，提取Y通道并计算Y通道的均值和方差；
设定均值阈值和方差阈值；
判断图像的均值或方差是否对应的阈值，若大于，则计算前三种尺度下高斯模糊图像的信息熵，并根据信息熵的大小赋予三幅高斯模糊图像不同权重进行图像融合，将融合后的图像作为增强后的图像；
权重计算公式为：
其中，Hk表示模糊尺度为k时图像所对应的信息熵；N表示尺度的数量；
信息熵的计算公式为：
其中，H表示信息熵，P(Zj)表示第j个灰度级出现的概率。
5.根据权利要求3所述的一种基于机器视觉的煤矿带式输送机煤流异物识别方法，其特征在于，Y通道均值m计算公式为：
Y通道方差计算公式为：
其中，m表示Y通道图像均值，σ2表示Y通道方差，Zj代表Y通道图像灰度级，P(Zj)表示灰度级出现概率。
6.根据权利要求1所述的一种基于机器视觉的煤矿带式输送机煤流异物识别方法，其特征在于，所述CA注意力模块有三个，分别设置在Backbone网络的第2个C3模块，第三个C3模块和SPPF模块的输出端与Neck网络之间。
7.根据权利要求1所述的一种基于机器视觉的煤矿带式输送机煤流异物识别方法，其特征在于，所述CA注意力模块包括残差块、X平均池化层、Y平均池化层、信息融合模块、二维卷积模块、Sigmoid激活模块、权重调整模块。
CN202310635593.8A 2023-05-31 2023-05-31 一种基于机器视觉的煤矿带式输送机煤流异物识别方法 Pending CN116665011A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310635593.8A CN116665011A (zh) 2023-05-31 2023-05-31 一种基于机器视觉的煤矿带式输送机煤流异物识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310635593.8A CN116665011A (zh) 2023-05-31 2023-05-31 一种基于机器视觉的煤矿带式输送机煤流异物识别方法

Publications (1)

Publication Number Publication Date
CN116665011A true CN116665011A (zh) 2023-08-29

Family

ID=87709237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310635593.8A Pending CN116665011A (zh) 2023-05-31 2023-05-31 一种基于机器视觉的煤矿带式输送机煤流异物识别方法

Country Status (1)

Country Link
CN (1) CN116665011A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237369A (zh) * 2023-11-16 2023-12-15 苏州视智冶科技有限公司 一种基于计算机视觉的高炉铁口开口深度测量方法
CN117272031A (zh) * 2023-11-21 2023-12-22 唐山智诚电气（集团）有限公司 一种基于多来源的煤流平衡自适应控制方法
CN117315593A (zh) * 2023-11-27 2023-12-29 太原理工大学 煤矿井下运输系统异物侵入的识别方法
CN117422696A (zh) * 2023-11-08 2024-01-19 河北工程大学 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422696A (zh) * 2023-11-08 2024-01-19 河北工程大学 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法
CN117237369A (zh) * 2023-11-16 2023-12-15 苏州视智冶科技有限公司 一种基于计算机视觉的高炉铁口开口深度测量方法
CN117237369B (zh) * 2023-11-16 2024-02-27 苏州视智冶科技有限公司 一种基于计算机视觉的高炉铁口开口深度测量方法
CN117272031A (zh) * 2023-11-21 2023-12-22 唐山智诚电气（集团）有限公司 一种基于多来源的煤流平衡自适应控制方法
CN117272031B (zh) * 2023-11-21 2024-02-06 唐山智诚电气（集团）有限公司 一种基于多来源的煤流平衡自适应控制方法
CN117315593A (zh) * 2023-11-27 2023-12-29 太原理工大学 煤矿井下运输系统异物侵入的识别方法

Similar Documents

Publication Publication Date Title
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
CN116665011A (zh) 一种基于机器视觉的煤矿带式输送机煤流异物识别方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN114581782B (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
WO2023082418A1 (zh) 基于人工智能技术的电力综合管廊沉降裂缝识别方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN112001878A (zh) 基于二值化神经网络的深度学习矿石尺度测量方法及应用系统
CN111161292A (zh) 一种矿石尺度测量方法及应用系统
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
Jana et al. A De novo approach for automatic volume and mass estimation of fruits and vegetables
CN114445707A (zh) 瓶装水标签缺陷智能化视觉精细检测方法
CN111652214A (zh) 一种基于深度学习的垃圾瓶分选方法
CN115294033A (zh) 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
CN107516315B (zh) 一种基于机器视觉的掘进机出渣监测方法
CN112597926A (zh) 基于fod影像对飞机目标的识别方法、设备、存储介质
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN111339967A (zh) 一种基于多视域图卷积网络的行人检测方法
CN117253024B (zh) 一种基于机器视觉的工业盐质检管控方法及系统
CN110689059A (zh) 一种垃圾自动分拣的方法
CN112686872A (zh) 基于深度学习的木材计数方法
CN113610831B (zh) 基于计算机图像技术和迁移学习的木材缺陷检测方法
CN114445767A (zh) 一种传输带传输异物检测方法及系统
CN114821165A (zh) 一种轨道检测图像采集分析方法
CN111950475A (zh) 一种基于yoloV3的calhe直方图增强型目标识别算法
CN111723861A (zh) 一种用于煤矿控制挡板的煤矸石百分比识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination