CN113283395A - 一种运煤皮带转接处堵塞异物的视频检测方法 - Google Patents
一种运煤皮带转接处堵塞异物的视频检测方法 Download PDFInfo
- Publication number
- CN113283395A CN113283395A CN202110722229.6A CN202110722229A CN113283395A CN 113283395 A CN113283395 A CN 113283395A CN 202110722229 A CN202110722229 A CN 202110722229A CN 113283395 A CN113283395 A CN 113283395A
- Authority
- CN
- China
- Prior art keywords
- foreign matter
- foreign
- image
- transfer joint
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000012546 transfer Methods 0.000 title claims abstract description 76
- 239000003245 coal Substances 0.000 title claims abstract description 58
- 230000000903 blocking effect Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 12
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 239000002023 wood Substances 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 9
- 239000004744 fabric Substances 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 229910052742 iron Inorganic materials 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012821 model calculation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000002759 woven fabric Substances 0.000 claims description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种运煤皮带转接处堵塞异物的视频检测方法，具体为：首先，异物数据集采集与划分；利用异物检测模型对转接处视频进行实时检测；获取异物类别与位置信息，形成异物信息，并将异物信息按照时间顺序存储在MySQL数据库中；之后，检测图像是否存在堵塞现象；最后，读取数据库异物信息，剔除输送带转接处异物。本发明的方法，解决了运煤皮带转接处异物的检测问题，增强了异物的检测精度和速度；通过读取视频流实时检测井下转接处是否堵塞，若发生堵塞现象，结合MySQL数据库提取不同异物位置与类别信息，实现对各类异物的精确剔除。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种运煤皮带转接处堵塞异物的视频检测方法。
背景技术
带式输送机是煤矿井下运输系统的关键设备，在煤矿运输过程中起着十分重要的作用。由于煤炭开采环境的复杂性，在煤炭生产运输过程中，锚杆、大块物、铁丝网等非煤异物容易造成井下运煤皮带转接处堵塞情况的发生，危害井下运行设备，影响煤矿安全生产。针对运煤皮带中的大块异物进行实时检测并提前报警，分析堵塞事故的原因，将堵塞异物数据保存并记录，有利于提高煤炭生产效率，对煤矿安全生产具有重要意义。
目前，井下运煤皮带转接处堵塞的检测多为人工监控、传感器检测以及图像检测等，人工监控效率低下，安全隐患大；传感器检测成本高，不利于维护；中国专利(申请号：202010449072.X，公开号：CN 111573200 B)公开了一种井下皮带转接处堵塞的视觉检测系统及检测方法，通过构建井下转接处双摄像头检测系统，运用图像方法检测转接处堵塞情况，霍夫直线法来检测堵塞原因，这种方法能够判断井下转接处是否堵塞并分析部分堵塞原因，但是仅能区分锚杆单一异物，且无法对煤流覆盖的异物进行检测。因此，有必要提出进一步改进方案。
发明内容
本发明的目的是提供一种运煤皮带转接处堵塞异物的视频检测方法，解决了现有基于传感器和图像方法中无法检测堵塞异物种类且检测速度慢的问题。
本发明所采用的技术方案是，一种运煤皮带转接处堵塞异物的视频检测方法，具体按照以下步骤实施：
步骤1，异物数据集采集与划分；
步骤2，利用异物检测模型对转接处视频进行实时检测；
步骤3、获取异物类别与位置信息，形成异物信息，并将异物信息按照时间顺序存储在MySQL数据库中；异物信息的存储格式为(c，x，y，w，h)，其中c为异物类别，x，y为检测框的中心点坐标，w，h为异物检测框的宽和高；
步骤4，检测图像是否存在堵塞现象；
步骤5，读取数据库异物信息，剔除输送带转接处异物。
本发明的特点还在于，
步骤1中，具体为：
步骤101，查看运煤皮带转接处历史视频，截取转接处存在异物目标的视频，将节选视频逐帧拆分，得到原始异物图像数据；
步骤102，利用图像几何操作对异物图像进行处理扩充，并调整图像亮度、锐度以及对比度信息，得到扩充的异物图像数据集；
步骤103，应用labellmg软件对异物图像数据集进行标注，绘制不同颜色矩形框定位不同的异物类别；其中，1类为锚杆，2类为大块矸石，3类为铁丝网，4类为木杆，5类为编织物；
步骤104，将标注好的异物图像数据集按照比例划分为训练集和测试集，训练集和测试集数据比例为9：1，异物图像数据集中图像总数不小于5000张。
步骤102中，图像几何操作具体为，对异物图像进行旋转30度和镜像翻转操作；调整图像亮度、锐度以及对比度信息时，设置亮度增强因子为0.7、1、1.3，锐度增强因子为0.3、0.5、1，对比度增强因子为0.7、1、1.3。
步骤2中，具体如下：
步骤201，通过输送带转接处摄像头采集实时视频流，将采集到的视频流拆分成单帧图像，并对图像大小进行归一化处理，统一为416×416×3，得到尺度相同的图像；
步骤202、对异物检测模型进行改进并训练，具体过程如下：
步骤2021、针对YOLOv4的主干网络CSPDarknet-53，利用深度可分离卷积替换主干网络中的部分标准卷积，即利用深度可分离卷积替换部分3×3标准卷积，即保留第一特征提取层3×3标准卷积，将二至六特征提取层中3×3标准卷积替换为深度可分离卷积，其输入为一张416×416×3的图片，输出为(52，52，256)、(26，26，512)、(13，13，1024)三个有效特征层，得到轻量化的主干网络CSPDarknet53-DW；再删除1/8尺度的预测输出通道，得到1/16和1/32的双尺度特征融合网络；
步骤2022、平衡样本不均衡损失，通过在置信度损失基础上引入Focal Loss用于平衡样本计算的不均衡，得到异物检测模型的损失函数；异物检测模型的损失函数公式为：loss＝location_loss+Focal_loss+class_loss，其中loss为模型损失，location_loss为边框回归损失，class_loss为类别损失，Focal_loss为置信度平衡损失；
步骤2023、模型训练与保存，将步骤104得到的异物图像数据集存入YOLOv4模型中进行训练，保存多次迭代的训练权重文件，得到训练损失最低的模型权重文；
步骤203、将步骤201中得到的图像导入模型中进行检测；
步骤204、计算当前输入图像中异物的类别与位置信息；
具体为：获取所有分类和先验框信息，读取实时图像进行检测，获取特征层的预测结果，分别为(N，19，19，3，10)和(N，38，38，3，10)，其中N为batch数，最后一维度的10包含了预测框中心点横坐标偏移量x_offset、纵坐标偏移量y_offset、宽度、高度、置信度和分类结果。设置预测框最近网格点为(x，y)，则预测框中心点为(x+x_offset，y+y_offset)；
步骤205、根据模型计算结果绘制矩形标注框可视化展示。
步骤2023中训练时，将输入图片大小调整为416×416×3，采用动量项为0.9的异步随机梯度下降法，每批次batch设置为16，前200轮训练的学习率设置为0.001，后100轮学习率设置为0.0001，通过300轮训练获取最优模型权重。
步骤4中，具体过程如下：
步骤401、将输入图像进行ROI感兴趣区域划分；
步骤402、根据步骤3中MySQL数据库存储的异物信息，设置时间阈值t1判断ROI感兴趣区域中异物存在的时间是否大于时间阈值，若大于，则转接处出现堵塞现象，进入步骤501，若异物存在时间小于时间阈值，进入步骤403；
步骤403、取空载输送带转接处的ROI感兴趣图像K0(x，y)，实时提取的ROI感兴趣图像K1(x，y)，根据公式K1(x，y)-K0(x，y)＝ω计算图像局部像素差异，判断皮带转接处堵塞情况，若ω大于堵塞阈值，则说明皮带转接处发生堵塞堆煤现象；若ω小于堵塞阈值，则说明皮带运行正常，进入步骤501，若小于堵塞阈值，则转接处未出现堵塞现象，则检测完毕。
步骤5中，具体过程如下：
步骤501、转接处出现堵塞现象，向控制台发送报警信号，降低运煤皮带速度；
步骤502、读取MySQL数据库当前帧存储的异物信息，提取MySQL数据库中当前帧图像检测的异物种类、尺度以及位置信息，若判断读取的异物信息存在，则说明转接处产生异物堵塞，向控制台发送异物堵塞信号并进入步骤503进行处理，若判断读取异物信息数据为空，则说明输送带转接处由于前后带速不匹配而产生堆煤现象，向控制台发送堆煤堵塞信号；
步骤503、根据异物信息去除输送带转接处堵塞的异物，利用步骤502提取到的异物信息，针对各种类型的异物采用对应的设备去除输送带转接处堵塞的异物。
步骤502中，异物信息为每帧视频图像异物检测结果，在MySQL数据库存储形式为(c，x，y，w，h)，其中c为异物类别信息，通过查看c的值，0则说明当前图像帧未检测到异物，1则说明检测异物为锚杆，2则说明检测异物为大块矸石，3则说明检测异物为铁丝网，4则说明检测异物为木杆，5则说明检测异物为编织物。
本发明的有益效果是，本发明通过目标检测、数据库存储、帧差法检测运煤皮带转接处异物堵塞情况，解决了传统人工检测方法高成本、低效率等问题，解决了现有基于传感器和图像方法中无法检测堵塞异物种类、位置信息以及检测速度慢等问题，不仅提高了运输设备的使用寿命，降低了安全隐患，还为后续异物的剔除工作提供帮助。
附图说明
图1为本发明一种运煤皮带转接处堵塞异物的视频检测方法的流程图；
图2为本发明一种运煤皮带转接处堵塞异物的视频检测方法中转接处堵塞检测流程图；
图3为本发明一种运煤皮带转接处堵塞异物的视频检测方法中使用的原始图像(一)；
图4为本发明一种运煤皮带转接处堵塞异物的视频检测方法中使用的原始图像(二)；
图5为本发明一种运煤皮带转接处堵塞异物的视频检测方法中使用的原始图像(三)；
图6为图3的异物检测结果图；
图7为图4的异物检测结果图；
图8为图5的异物检测结果图；
图9为本发明一种运煤皮带转接处堵塞异物的视频检测方法中皮带转接处空载图像；
图10为本发明一种运煤皮带转接处堵塞异物的视频检测方法中异物堵塞堆煤图(一)；
图11为本发明一种运煤皮带转接处堵塞异物的视频检测方法中异物堵塞堆煤图(二)；
图12为本发明一种运煤皮带转接处堵塞异物的视频检测方法中二值化堵塞图像(一)；
图13为本发明一种运煤皮带转接处堵塞异物的视频检测方法中二值化堵塞图像(二)。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种运煤皮带转接处堵塞异物的视频检测方法，如图1所示，具体按照以下步骤实施：
步骤1，异物数据集采集与划分，具体为：
步骤101，查看运煤皮带转接处历史视频，截取转接处存在异物目标的视频，将节选视频逐帧拆分，得到原始异物图像数据；
步骤102，利用图像几何操作对异物图像进行处理扩充，并调整图像亮度、锐度以及对比度信息，得到扩充的异物图像数据集；
图像几何操作具体为，对异物图像进行旋转30度和镜像翻转操作；调整图像亮度、锐度以及对比度信息具体为，设置亮度增强因子为0.7、1、1.3，锐度增强因子为0.3、0.5、1，对比度增强因子为0.7、1、1.3；其中增强因子大于1为增强，小于1为减弱。
步骤103，应用labellmg软件对异物图像数据集进行标注，绘制不同颜色矩形框定位不同的异物类别；其中，1类为锚杆，2类为大块矸石，3类为铁丝网，4类为木杆，5类为编织物；
步骤104，将标注好的异物图像数据集按照一定比例划分为训练集和测试集，训练集和测试集数据比例为9：1，异物图像数据集中图像总数不小于5000张；训练集为4500张，测试集为500张。
步骤2，利用异物检测模型对转接处视频进行实时检测，具体如下：
步骤201，通过输送带转接处摄像头采集实时视频流，将采集到的视频流拆分成单帧图像，并对图像大小进行归一化处理，统一为416×416×3，得到尺度相同的图像；
步骤202、对异物检测模型进行改进并训练，具体过程如下：
步骤2021、针对现有YOLOv4的主干网络CSPDarknet-53，利用深度可分离卷积替换主干网络中的部分标准卷积，即利用深度可分离卷积替换部分3×3标准卷积，即保留第一特征提取层3×3标准卷积，将二至六特征提取层中3×3标准卷积替换为深度可分离卷积，其输入为一张416×416×3的图片，输出为(52，52，256)、(26，26，512)、(13，13，1024)三个有效特征层，得到轻量化的主干网络CSPDarknet53-DW；再删除1/8尺度的预测输出通道，得到1/16和1/32的双尺度特征融合网络；
CSPDarknet53-DW网络结构由第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层、第五特征提取层、第六特征提取层、全连接、分类器构成；
第一特征提取层卷积步长为1，标准卷积核大小为3×3，通道数为32，激活函数为Mish；第二特征提取层由1个CSP残差块组成；第三特征提取层由2个CSP残差块组成；第四特征提取层由8个CSP残差块组成；第五特征提取层由8个CSP残差块组成；第六特征提取层由4个CSP残差块组成，分类器为Softmax；
CSP残差块由三层构成，第一层卷积步长为2，深度可分离卷积核大小3×3，通道数为64；第二层由2路分支组成，一路分支卷积步长为1，卷积核大小1×1，另一路为可循环支路，经过1×1卷积、1×1卷积、3×3深度可分离卷积、1×1卷积输出至连接层；第三层卷积步长为1，卷积核大小为1×1；激活函数为Mish。
步骤2022、平衡样本不均衡损失，YOLOv4模型的损失函数为：loss＝location_loss+confidence_loss+class_loss，通过在置信度损失基础上引入Focal Loss用于平衡样本计算的不均衡，得到异物检测模型的损失函数；其中loss为模型损失，location_loss为边框回归损失，confidence_loss为置信度损失，class_loss为类别损失；
异物检测模型的损失函数公式为：
loss＝location_loss+Focal_loss+class_loss，其中loss为模型损失，location_loss为边框回归损失，class_loss为类别损失，Focal_loss为置信度平衡损失。
边框回归损失，如下：
其中D和Dgt分别表示预测框和真实框，d和dgt分别为预测框和真实框中心点，ρ为欧氏距离的计算，C是同时包含预测框和真实框的闭合矩形对角线。α代表平衡尺度权重参数。v用来衡量预测框和真实框的长宽比。Wgt，hgt为真实框的宽高参数，w，h为预测框的宽高参数。
置信度平衡损失，如下：
类别损失，如下：
其中λno为不包括目标时的惩罚系数，本发明取0.5；α为平衡正负样本系数，本发明取0.75；γ为调节样本权重降低速率，本发明取3；S2为网格数，B为单元预测框数；Ino ij和Iobj ij表示目标是否落入第i单元第j边界框；Ci和
表示第i个网格中目标的真实和预测置信度；λclass为类别损失系数，本发明取1；pi(c)和
表示真实框和预测框类别概率值。
步骤2023、模型训练与保存，将步骤104得到的异物图像数据集存入改进的YOLOv4模型中进行训练，保存多次迭代的训练权重文件，得到训练损失最低的模型权重文；
将输入图片大小调整为416×416×3，采用动量项为0.9的异步随机梯度下降法，每批次batch设置为16。前200轮训练的学习率设置为0.001，后100轮学习率设置为0.0001，通过300轮训练获取最优模型权重。
步骤203、将步骤201中得到的图像导入模型中进行检测；
步骤204、计算当前输入图像中异物的类别与位置信息；
具体为：获取所有分类和先验框信息，读取实时图像进行检测，获取特征层的预测结果，分别为(N，19，19，3，10)和(N，38，38，3，10)，其中N为batch数，最后一维度的10包含了预测框中心点横坐标偏移量x_offset、纵坐标偏移量y_offset、宽度、高度、置信度和分类结果。设置预测框最近网格点为(x，y)，则预测框中心点为(x+x_offset，y+y_offset)。
步骤205、根据模型计算结果绘制矩形标注框可视化展示；
步骤3、获取步骤204中计算的异物类别与位置信息，形成异物信息，并将异物信息按照时间顺序存储在MySQL数据库中；
异物信息的存储格式为(c，x，y，w，h)，其中c为异物类别，x，y为检测框的中心点坐标，w，h为异物检测框的宽和高。
步骤4，检测图像是否存在堵塞现象，如图2所示，过程如下：
步骤401、ROI感兴趣区域划分，将图像进行ROI感兴趣区域划分，减少环境干扰影响；
步骤402、根据步骤3中MySQL数据库存储的异物信息，设置时间阈值t1判断ROI感兴趣区域中异物存在的时间是否大于时间阈值，若大于，则转接处出现堵塞现象，进入步骤501，若异物存在时间小于时间阈值，进入步骤403；设置时间阈值t1为5s；
步骤403、取空载输送带转接处的ROI感兴趣图像K0(x，y)，实时提取的ROI感兴趣图像K1(x，y)，根据公式K1(x，y)-K0(x，y)＝ω计算图像局部像素差异，判断皮带转接处堵塞情况，若ω大于堵塞阈值，则说明皮带转接处发生堵塞堆煤现象；若ω小于堵塞阈值，则说明皮带运行正常，进入步骤501，若小于堵塞阈值，则转接处未出现堵塞现象，则检测完毕；
具体堵塞阈值计算公式，如下：
A＝[1,1...1]1×m[K1-K0]m×n
ω＝λAAT
其中，A是矩阵，矩阵大小为m×n，AT是A转置；λ为10-11。
在具体实施中，取皮带转接处空载视频图像为K0，摄像头实时采集的图像为K1，设置ROI矩形感兴趣区域，其中左上角点坐标(0，200)，右下角点坐标(790，520)，实际ROI区域大小为790×520；将K0、K1转换成灰度图像后获取二者差分图像，得到差分图像大小为520×790，构建一个1×520的全1矩阵与差分图像进行矩阵相乘，再将输出结果自乘转置后经过缩放系数λ获得最终的堵塞阈值；通过实验结果设置λ为10-11，堵塞阈值为1.33；
步骤5、读取数据库异物信息，剔除输送带转接处异物，过程如下：
步骤501、转接处出现堵塞现象，向控制台发送报警信号，降低运煤皮带速度；
步骤502、读取MySQL数据库当前帧存储的异物信息，提取MySQL数据库中当前帧图像检测的异物种类、尺度以及位置信息，若判断读取的异物信息存在，则说明转接处产生异物堵塞，向控制台发送异物堵塞信号并进入步骤503进行处理，若判断读取异物信息数据为空，则说明输送带转接处由于前后带速不匹配而产生堆煤现象，向控制台发送堆煤堵塞信号；
异物信息为每帧视频图像异物检测结果，在MySQL数据库存储形式为(c，x，y，w，h)，其中c为异物类别信息，通过查看c的值，0则说明当前图像帧未检测到异物，1则说明检测异物为锚杆，2则说明检测异物为大块矸石，3则说明检测异物为铁丝网，4则说明检测异物为木杆，5则说明检测异物为编织物；
步骤503、根据异物信息去除输送带转接处堵塞的异物，利用步骤502提取到的异物信息，针对各种类型的异物采用对应的设备去除输送带转接处堵塞的异物。
本发明通过改变原有YOLOv4网络结构，利用深度可分离卷积替换主干网络CSPDarkNet53中的3×3标准卷积，在特征提取网络PANet的基础上，引入不同特征的权重信息来进行高效的多尺度特征融合，并去除原特征提取网络中的1/8尺度预测，只保留1/16和1/32的预测尺度，得到更加符合大块异物特征的异物检测网络模型，在保证检测精度的同时提高了检测速度，有利于运煤皮带异物的实时检测。
本发明通过对异物检测信息进行存储，利用MySQL数据库工具管理异物的类别与位置信息，将计算出的异物信息存储为元组(c，x，y，w，h)，其中c为异物类别，x，y为检测框的中心点坐标，w，h为异物检测框的宽和高。通过查看c的数值，0则说明当前图像帧未检测到异物，1则说明检测异物为锚杆，2则说明检测异物为大块矸石，3则说明检测异物为铁丝网，4则说明检测异物为木杆，5则说明检测异物为编织物。存储的异物信息能够进行可视化查阅，当转接处出现堵塞现象，提取当前数据库存储的异物信息，根据不同的异物种类进行剔除。
本发明利用帧差法判定运煤皮带转接处堵塞情况，取空载输送带转接处的ROI感兴趣图像K0(x，y)，实时提取的ROI感兴趣图像K1(x，y)，根据计算公式K1(x，y)-K0(x，y)＝ω，判断皮带转接处堵塞情况，若ω大于堵塞阈值，则说明皮带转接处发生堵塞现象。
在实际生产中，皮带转接处的堵塞现象多是由于大尺度异物堆叠导致，通过异物检测模型能够准确的检测出转接处出现的异物类别，利用本发明的方法进行异物检测，图3、图5、图7均为原始图像，图4为异物检测结果，可以看出木杆的置信度为0.90，铁丝网的置信度为0.91，两种异物堆叠导致转接处堵塞；从图6可以看出，检测出木杆置信度为0.78，编织物置信度为0.98、0.99，木杆和编织物缠绕导致转接处发生堵塞；从图6可以看出，检测出大块矸石置信度为0.99、0.86等，由于大块矸石尺度过大，无法通过转接处通道，导致转接处发生堵塞。
本发明的转接处堵塞检测过程为，取空载输送带转接处的ROI感兴趣图像像素表示为K0(x，y)，实时提取的ROI感兴趣图像像素表示为K1(x，y)，根据公式K1(x，y)-K0(x，y)＝ω计算图像局部像素差异，判断皮带转接处堵塞情况，若ω大于堵塞阈值，则说明皮带转接处发生堵塞堆煤现象；若ω小于堵塞阈值，则说明皮带运行正常。图9表示皮带转接处空载图像，图10表示因异物堵塞造成的堆煤现象，图11表示因前后输送机带速不匹配导致的堆煤现象，图12和图13分别为通过公式K1(x，y)-K0(x，y)＝ω计算后的两种二值化堵塞图像，其中图12计算ω＝1.36、图13计算ω＝2.22。
Claims (8)
1.一种运煤皮带转接处堵塞异物的视频检测方法，其特征在于，具体按照以下步骤实施：
步骤1，异物数据集采集与划分；
步骤2，利用异物检测模型对转接处视频进行实时检测；
步骤3、获取异物类别与位置信息，形成异物信息，并将异物信息按照时间顺序存储在MySQL数据库中；异物信息的存储格式为(c，x，y，w，h)，其中c为异物类别，x，y为检测框的中心点坐标，w，h为异物检测框的宽和高；
步骤4，检测图像是否存在堵塞现象；
步骤5，读取数据库异物信息，剔除输送带转接处异物。
2.根据权利要求1所述的一种运煤皮带转接处堵塞异物的视频检测方法，其特征在于，所述步骤1中，具体为：
步骤101，查看运煤皮带转接处历史视频，截取转接处存在异物目标的视频，将节选视频逐帧拆分，得到原始异物图像数据；
步骤102，利用图像几何操作对异物图像进行处理扩充，并调整图像亮度、锐度以及对比度信息，得到扩充的异物图像数据集；
步骤103，应用labellmg软件对异物图像数据集进行标注，绘制不同颜色矩形框定位不同的异物类别；其中，1类为锚杆，2类为大块矸石，3类为铁丝网，4类为木杆，5类为编织物；
步骤104，将标注好的异物图像数据集按照比例划分为训练集和测试集，训练集和测试集数据比例为9：1，异物图像数据集中图像总数不小于5000张。
3.根据权利要求2所述的一种运煤皮带转接处堵塞异物的视频检测方法，其特征在于，所述步骤102中，图像几何操作具体为，对异物图像进行旋转30度和镜像翻转操作；调整图像亮度、锐度以及对比度信息时，设置亮度增强因子为0.7、1、1.3，锐度增强因子为0.3、0.5、1，对比度增强因子为0.7、1、1.3。
4.根据权利要求2所述的一种运煤皮带转接处堵塞异物的视频检测方法，其特征在于，所述步骤2中，具体如下：
步骤201，通过输送带转接处摄像头采集实时视频流，将采集到的视频流拆分成单帧图像，并对图像大小进行归一化处理，统一为416×416×3，得到尺度相同的图像；
步骤202、对异物检测模型进行改进并训练，具体过程如下：
步骤2021、针对YOLOv4的主干网络CSPDarknet-53，利用深度可分离卷积替换主干网络中的部分标准卷积，即利用深度可分离卷积替换部分3×3标准卷积，即保留第一特征提取层3×3标准卷积，将二至六特征提取层中3×3标准卷积替换为深度可分离卷积，其输入为一张416×416×3的图片，输出为(52，52，256)、(26，26，512)、(13，13，1024)三个有效特征层，得到轻量化的主干网络CSPDarknet53-DW；再删除1/8尺度的预测输出通道，得到1/16和1/32的双尺度特征融合网络；
步骤2022、平衡样本不均衡损失，通过在置信度损失基础上引入FocalLoss用于平衡样本计算的不均衡，得到异物检测模型的损失函数；异物检测模型的损失函数公式为：loss＝location_loss+Focal_loss+class_loss，其中loss为模型损失，location_loss为边框回归损失，class_loss为类别损失，Focal_loss为置信度平衡损失；
步骤2023、模型训练与保存，将步骤104得到的异物图像数据集存入YOLOv4模型中进行训练，保存多次迭代的训练权重文件，得到训练损失最低的模型权重文件；
步骤203、将步骤201中得到的图像导入模型中进行检测；
步骤204、计算当前输入图像中异物的类别与位置信息；
具体为：获取所有分类和先验框信息，读取实时图像进行检测，获取特征层的预测结果，分别为(N，19，19，3，10)和(N，38，38，3，10)，其中N为batch数，最后一维度的10包含了预测框中心点横坐标偏移量x_offset、纵坐标偏移量y_offset、宽度、高度、置信度和分类结果；设置预测框最近网格点为(x，y)，则预测框中心点为(x+x_offset，y+y_offset)；
步骤205、根据模型计算结果绘制矩形标注框可视化展示。
5.根据权利要求4所述的一种运煤皮带转接处堵塞异物的视频检测方法，其特征在于，所述步骤2023中训练时，将输入图片大小调整为416×416×3，采用动量项为0.9的异步随机梯度下降法，每批次batch设置为16，前200轮训练的学习率设置为0.001，后100轮学习率设置为0.0001，通过300轮训练获取最优模型权重。
6.根据权利要求4所述的一种运煤皮带转接处堵塞异物的视频检测方法，其特征在于，所述步骤4中，具体过程如下：
步骤401、将输入图像进行ROI感兴趣区域划分；
步骤402、根据步骤3中MySQL数据库存储的异物信息，设置时间阈值t1判断ROI感兴趣区域中异物存在的时间是否大于时间阈值，若大于，则转接处出现堵塞现象，进入步骤501，若异物存在时间小于时间阈值，进入步骤403；
步骤403、取空载输送带转接处的ROI感兴趣图像K0(x，y)，实时提取的ROI感兴趣图像K1(x，y)，根据公式K1(x，y)-K0(x，y)＝ω计算图像局部像素差异，判断皮带转接处堵塞情况，若ω大于堵塞阈值，则说明皮带转接处发生堵塞堆煤现象；若ω小于堵塞阈值，则说明皮带运行正常，进入步骤501，若小于堵塞阈值，则转接处未出现堵塞现象，则检测完毕。
7.根据权利要求6所述的一种运煤皮带转接处堵塞异物的视频检测方法，其特征在于，所述步骤5中，具体过程如下：
步骤501、转接处出现堵塞现象，向控制台发送报警信号，降低运煤皮带速度；
步骤502、读取MySQL数据库当前帧存储的异物信息，提取MySQL数据库中当前帧图像检测的异物种类、尺度以及位置信息，若判断读取的异物信息存在，则说明转接处产生异物堵塞，向控制台发送异物堵塞信号并进入步骤503进行处理，若判断读取异物信息数据为空，则说明输送带转接处由于前后带速不匹配而产生堆煤现象，向控制台发送堆煤堵塞信号；
步骤503、根据异物信息去除输送带转接处堵塞的异物，利用步骤502提取到的异物信息，针对各种类型的异物采用对应的设备去除输送带转接处堵塞的异物。
8.根据权利要求7所述的一种运煤皮带转接处堵塞异物的视频检测方法，其特征在于，所述步骤502中，异物信息为每帧视频图像异物检测结果，在MySQL数据库存储形式为(c，x，y，w，h)，其中c为异物类别信息，通过查看c的值，0则说明当前图像帧未检测到异物，1则说明检测异物为锚杆，2则说明检测异物为大块矸石，3则说明检测异物为铁丝网，4则说明检测异物为木杆，5则说明检测异物为编织物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110722229.6A CN113283395B (zh) | 2021-06-28 | 2021-06-28 | 一种运煤皮带转接处堵塞异物的视频检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110722229.6A CN113283395B (zh) | 2021-06-28 | 2021-06-28 | 一种运煤皮带转接处堵塞异物的视频检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113283395A true CN113283395A (zh) | 2021-08-20 |
| CN113283395B CN113283395B (zh) | 2024-03-29 |
Family
ID=77285943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110722229.6A Active CN113283395B (zh) | 2021-06-28 | 2021-06-28 | 一种运煤皮带转接处堵塞异物的视频检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113283395B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989716A (zh) * | 2021-10-21 | 2022-01-28 | 西安科技大学 | 煤矿井下输送带异物目标检测方法、系统、设备及终端 |
| CN114494250A (zh) * | 2022-04-01 | 2022-05-13 | 浙江大学湖州研究院 | 基于神经网络模型的地板缺陷检测方法 |
| CN115147770A (zh) * | 2022-08-30 | 2022-10-04 | 山东千颐科技有限公司 | 基于图像处理的皮带异物视觉识别系统 |
| IT202100022403A1 (it) * | 2021-08-27 | 2023-02-27 | Visio Tech S R L | Metodo per il monitoraggio di target in un impianto di smistamento |
| IT202100022397A1 (it) * | 2021-08-27 | 2023-02-27 | Visio Tech S R L | Metodo per il monitoraggio di target su un nastro trasportatore, su sorter e su rulliere di un impianto di smistamento |
| CN116620877A (zh) * | 2023-07-21 | 2023-08-22 | 成都考拉悠然科技有限公司 | 一种基于深度学习的落料柜堵料检测及处理的方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109230351A (zh) * | 2018-08-30 | 2019-01-18 | 山西精英科技股份有限公司 | 一种皮带输送机运行异常的识别方法 |
| WO2019232830A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
| CN112040174A (zh) * | 2020-07-20 | 2020-12-04 | 西安科技大学 | 一种用于井下的煤流量视觉检测方法 |
-
2021
- 2021-06-28 CN CN202110722229.6A patent/CN113283395B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019232830A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
| CN109230351A (zh) * | 2018-08-30 | 2019-01-18 | 山西精英科技股份有限公司 | 一种皮带输送机运行异常的识别方法 |
| CN112040174A (zh) * | 2020-07-20 | 2020-12-04 | 西安科技大学 | 一种用于井下的煤流量视觉检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 栾永春;: "基于视频分析的煤矿井下皮带异物检测系统", 科技经济导刊, no. 17 * |
| 高小强;: "智能巡检机器人视频监测皮带异物自动识别报警技术研究", 电子技术与软件工程, no. 11 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT202100022403A1 (it) * | 2021-08-27 | 2023-02-27 | Visio Tech S R L | Metodo per il monitoraggio di target in un impianto di smistamento |
| IT202100022397A1 (it) * | 2021-08-27 | 2023-02-27 | Visio Tech S R L | Metodo per il monitoraggio di target su un nastro trasportatore, su sorter e su rulliere di un impianto di smistamento |
| CN113989716A (zh) * | 2021-10-21 | 2022-01-28 | 西安科技大学 | 煤矿井下输送带异物目标检测方法、系统、设备及终端 |
| CN113989716B (zh) * | 2021-10-21 | 2024-05-28 | 西安科技大学 | 煤矿井下输送带异物目标检测方法、系统、设备及终端 |
| CN114494250A (zh) * | 2022-04-01 | 2022-05-13 | 浙江大学湖州研究院 | 基于神经网络模型的地板缺陷检测方法 |
| CN115147770A (zh) * | 2022-08-30 | 2022-10-04 | 山东千颐科技有限公司 | 基于图像处理的皮带异物视觉识别系统 |
| CN115147770B (zh) * | 2022-08-30 | 2022-12-02 | 山东千颐科技有限公司 | 基于图像处理的皮带异物视觉识别系统 |
| CN116620877A (zh) * | 2023-07-21 | 2023-08-22 | 成都考拉悠然科技有限公司 | 一种基于深度学习的落料柜堵料检测及处理的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113283395B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113283395B (zh) | 一种运煤皮带转接处堵塞异物的视频检测方法 | |
| CN110390691B (zh) | 一种基于深度学习的矿石尺度测量方法及应用系统 | |
| CN112990227B (zh) | 掌子面地质检测方法 | |
| CN111709935B (zh) | 一种用于地面运动皮带上实时煤矸石定位识别方法 | |
| CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
| CN111582029B (zh) | 一种基于密集连接与注意力机制的交通标志识别方法 | |
| CN112560675B (zh) | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 | |
| CN114743119B (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
| CN112967255A (zh) | 一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法 | |
| CN109934170B (zh) | 一种基于计算机视觉的矿山资源统计方法 | |
| CN116645586A (zh) | 一种基于改进YOLOv5的港口集装箱损伤检测方法及系统 | |
| CN115601682A (zh) | 井下皮带运输机异物检测方法和装置 | |
| CN112308040A (zh) | 一种基于高清图像的河流排污口检测方法及系统 | |
| CN115359392A (zh) | 一种基于改进YOLOv5模型的路边施工行为检测方法 | |
| TWI787943B (zh) | 廢料判別系統及廢料判別方法 | |
| CN106447656A (zh) | 基于图像识别的渲染瑕疵图像检测方法 | |
| CN112881412A (zh) | 一种废钢产品中非金属异物检测方法 | |
| CN114399719A (zh) | 一种变电站火灾视频监测方法 | |
| CN105354547A (zh) | 一种结合纹理和彩色特征的行人检测方法 | |
| CN111507398A (zh) | 基于目标检测的变电站金属仪器锈蚀识别方法 | |
| CN114241522A (zh) | 现场作业安全穿戴识别方法、系统、设备及存储介质 | |
| CN114155551A (zh) | 基于YOLOv3改进的复杂环境下的行人检测方法及装置 | |
| CN110363198B (zh) | 一种神经网络权重矩阵拆分与组合的方法 | |
| Ji et al. | Bucket teeth detection based on faster region convolutional neural network | |
| CN114445767B (zh) | 一种传输带传输异物检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |