CN113344882A - 基于计算机视觉的矿下钻机钻杆计数方法 - Google Patents

基于计算机视觉的矿下钻机钻杆计数方法 Download PDF

Info

Publication number
CN113344882A
CN113344882A CN202110647114.5A CN202110647114A CN113344882A CN 113344882 A CN113344882 A CN 113344882A CN 202110647114 A CN202110647114 A CN 202110647114A CN 113344882 A CN113344882 A CN 113344882A
Authority
CN
China
Prior art keywords
target
image
frame
candidate
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110647114.5A
Other languages
English (en)
Inventor
李映萱
陈俊星
闫启宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Beam Huilian Technology Co ltd
Original Assignee
Chengdu Beam Huilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Beam Huilian Technology Co ltd filed Critical Chengdu Beam Huilian Technology Co ltd
Priority to CN202110647114.5A priority Critical patent/CN113344882A/zh
Publication of CN113344882A publication Critical patent/CN113344882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于计算机视觉的矿下钻机钻杆计数方法，S1、获取钻杆图像数据，将钻杆图像数据划分为两种类型数据；S2、对两种数据进行图像增强处理；S3、将不同比例的高斯白噪声加入每一张清洗的图像中；S4、样本图片读入后被锁定为一个416*416的图像，每一个图像区域经过Darknet；S5、对图像候选框以及候选框的中心点、宽、高进行分类和回归任务，并修改分类任务的输出设置成1；S6、通过训练最小化损失函数，监测网络输出多个检测候选框；S7、将在检验框中置信度最大的检验框作为输入框，依次计算有重叠的检验框的IOU，当计算的IOU值大于设定阈值时，过滤，并重复步骤S7；S8、采用图像分类、卡尔曼滤波算法和匈牙利算法对监测到的目标进行跟踪计算。

Description

基于计算机视觉的矿下钻机钻杆计数方法
技术领域
本发明属于井下钻杆计数的技术领域，具体涉及一种基于计算机视觉的矿下钻机钻杆计数方法。
背景技术
瓦斯爆炸、突出等瓦斯事故是煤矿生产过程中最大的一类安全隐患。目前煤矿生产中最常用的措施是瓦斯抽采，即通过打钻，利用钻孔(或巷道)、管道和真空泵将煤层或采区内的瓦斯抽至地面，以保证矿井作业的安全进行。
作为瓦斯抽采第一步工序，打钻需要考虑到打钻深度，由于钻头在煤层中的路径难以获取，一般通过计算钻杆数量来间接计算钻孔深度，以满足钻孔深度设计要求。打钻深度与钻杆数目成直接关系，若打钻深度高出实际深度，将导致瓦斯无法抽取，若打钻深度低于实际深度，极易出现瓦斯泄漏甚至造成瓦斯爆炸。对于瓦斯抽采钻孔深度的测量基本采用随钻测量的方法进行，传统的人工统计钻杆数量的方式存在自动化程度低、受人为因素影响、误差较大等缺点。
同时，钻孔施工大多以进尺计酬。施工过程中遇坚硬岩层时，施工队为保证施工进度，可能会偷工减料，虚报钻孔深度，给煤矿生产带来巨大安全隐患。
因此，煤矿会在打钻后进行验钻，但该方法易受人为影响，经常出现漏记、多记、错记等情况。随着监控视频的发展，在煤矿安全生产中得到应用推广，通过人工监看视频进行计数。这种方式最大的问题是不能实时播报打钻深度，出现问题地上监督人员不能及时发出停工警告。且人的精力是有限的，长时间盯着一个地方，人眼会出现疲劳，无法实现实时完整的监控，且在高强度工作环境下难免存在人为的疏忽从而造成计数误差。为降低错误率，需要多人同时计数，并安排专人全程监督，浪费大量人力资源，增加了管理成本，且无法杜绝虚报钻孔深度的现象。
为降低人员劳动强度并提高准确率，出现了接近开关计数方法、可编程逻辑控制计数方法和基于计算机视觉的计数方法。其中前两者采用接近开关、传感器等装置接收距离参数、发出信号，由技术装置、控制器自动累加计数。后者通过计算机智能分析视频画面计数。
虽然以上方法都可以达到计数的效果，但井下环境恶劣，潮湿、灰尘多，接近开关容易损坏，使得钻杆计数失效。钻机的打钻过程复杂，打钻和取钻过程不好区分，需要额外安装大量的控制检测设备，而硬件设备的价格通常比较昂贵，这样就需要投入很大的成本，不利于推广。当钻机出现异常或者中断，画面出现强光源或者遮挡，运动目标过快等问题时，机器视觉技术识别效果也会大大降低，易造成统计结果偏差。
在钻机的钻头处设置标识装置，利用煤矿井下摄像仪拍摄瓦斯抽采钻机的运行图像，并通过以太环网将图像传输给工控机的图像处理系统，从而进行图像预处理、特征提取、目标检测、目标跟踪，最终实现钻杆的自动计数。
现有技术的计数效果是以现实中采集的视频来进行实验验证的，对钻机的打钻计数取得了一定的结果，但还没有完全达到实时的监测效果，当钻机出现异常或者中断时，造成错误统计。对于强光源或者遮挡问题，也都没有给出更好的解决办法，当运动目标过快时，也不能达到实时跟踪的效果，从而造成折线图峰值出现错误，进而统计钻杆准确度下降，并不能运用到实际工业生产中。
发明内容
本发明的目的在于针对现有技术中的上述不足，提供一种基于计算机视觉的矿下钻机钻杆计数方法，以解决或改善上述的问题。
为达到上述目的，本发明采取的技术方案是：
一种基于计算机视觉的矿下钻机钻杆计数方法，其包括以下具体步骤：
S1、获取钻杆图像数据，将钻杆图像数据划分为两种类型数据，并将两种数据分别作为训练监测器的网络和训练重识别的网络的输入；
S2、对两种数据进行图像增强处理；
S3、将不同比例的高斯白噪声加入每一张清洗的图像中，模拟二氧化硅和粉尘造成的影响；
S4、样本图片读入后被锁定为一个416*416的图像，图像包括三个尺度，分别将图像切割成13*13，26*26，52*52个区域，每一个区域经过Darknet；
S5、对图像中是否含有监测物的候选框以及候选框的中心点、宽、高进行分类和回归任务，并修改分类任务的输出设置成1；
S6、通过训练最小化损失函数，监测网络输出多个检测候选框，采用非极大抑制算法，对候选框进行一次过滤，将含有目标物体的概率值在0.5以下的部分作为错误预测过滤掉；
S7、将在检验框中置信度最大的检验框作为输入框，依次计算输入框与候选检验框中有重叠的检验框的IOU，当计算的IOU值大于设定阈值时，过滤，并重复步骤S7，直至剩余候选边界框为零；
S8、采用图像分类、卡尔曼滤波算法和匈牙利算法对监测到的目标进行跟踪计算。
进一步地，步骤S1的两种类型的数据包括：第一种类型对应标注文件为(c,x,y,w,h)，第二种为(c,id,x,y,w,h)，其中，c为类型，x,y为钻杆候选框的中心位置坐标，w,h分别为钻杆中心候选框的宽和高，id为钻杆的编号。
进一步地，步骤S2中的图像增强处理包括：截取、旋转、对称变换、亮度变换和饱和度变换。
进一步地，候选框中的位置信息的损失为：
Figure BDA0003109520910000041
其中，λcoor为坐标误差的权重系数，s2为搜索网格总数，B为检测框种数总和，
Figure BDA0003109520910000042
为存在指数，检测器的搜索网格i中有第j种检测框监测到目标时为1，不含监测目标时为0；wi，hi分别为检测目标框的宽度和高度，wl，hl分别为标注目标框的宽度和高度，xi，yi分别为检测目标框的中心坐标，xl，yl分别为标注目标框的中心坐标。
进一步地，每个区域内候选框中物体的类别的损失为：
Figure BDA0003109520910000043
其中，λcls为分类误差的权重系数，s2代表搜索网格总数，B为检测框种数总和，
Figure BDA0003109520910000044
为存在指数，检测器的搜索网格i中有第j种检测框监测到目标时为1，不含监测目标时为0；pi(c)为目标是c类物体的概率，
Figure BDA0003109520910000048
为检测目标是c类物体的真实值。
进一步地，对任意区域内含有待检测目标和不含有待检测目标的概率损失为：
Figure BDA0003109520910000045
Figure BDA0003109520910000046
其中，λobj,λnoobj分别是含有物体置信度误差的权重系数和不含物体置信度误差的权重系数，s2为搜索网格总数，B为检测框种数总和，
Figure BDA0003109520910000047
为存在指数，检测器的搜索网格i中有第j种检测框监测到目标时为1，不含监测目标时为0，
Figure BDA0003109520910000051
相反；ci和
Figure BDA0003109520910000052
分别为置信度的预测值和真实值。
进一步地，步骤S8中采用角度分类器进行图像分类，包括：
当检测器检测到钻杆时，将检测目标区域图像输入分类器，对钻杆进行角度的180分类，得到场景下的钻杆角度值θ；
当目标脱离钻机监测区域且钻杆角度出现大于阈值的变化时，视为退钻过程，退钻计数器加一，进钻计数器减一；
当目标从变化中的角度转化成相对固定的角度值且在检测区相对稳定时，视为进钻过程，退钻计数器减一，进钻计数器加一。
进一步地，步骤S8采用卡尔曼滤波对监测目标进行位置预测和状态更新，当监测目标移动时，根据上一帧画面监测到的目标位置和速度矢量预测下一帧画面的位置、速度、角度参数；并获得新的状态参数需要的预测值和观测值，对两个正态分布的状态进行线性加权，得到目前系统预测的状态。
进一步地，在步骤S8中，当画面中检测到多个目标时，采用匈牙利算法判断下一帧画面中的检测目标和上一帧画面中的检测目标是否匹配，包括：
计算各个检测目标的相似度，构建一个相似度矩阵；
加入角度相似度矩阵；
计算相似度矩阵和角度相似度矩阵两个矩阵的IoU，并以两个相似度的加权作为总体检测目标的相似：
Figure BDA0003109520910000053
Figure BDA0003109520910000054
Similarity＝λ1SM1+λ2SM2
其中，SM1和SM2分别为IoU相似度矩阵和角度相似度矩阵，λ1，λ2分别为IoU相似度矩阵和角度相似度矩阵的加权系数；矩阵中的任意元素代表连续两帧画面(f1，f2)中物体1和物体2的IoU相似度
Figure BDA0003109520910000061
和角度相似度
Figure BDA0003109520910000062
进一步地，IoU的计算为：
Figure BDA0003109520910000063
其中，A、B为两个计算相似度的候选框矩阵。
本发明提供的基于计算机视觉的矿下钻机钻杆计数方法，具有以下有益效果：
1、本发明基于计算机视觉的钻杆计数方法，以矿场自带摄像头为数据源，通过深度学习(Deep Learning)中的检测算法、过滤算法、排序算法、轨迹算法等，实现对钻杆的发现、跟踪以及计数，现场煤矿只需要部署一台含有GPU的服务器作为边缘计算设备，即可完成整套的钻杆计数过程。
2、避免工人职业危害，本算法可在抽采作业工艺流程中的撤钻工艺结束后及时报出该孔所打的钻杆数，从而推算出该孔深度，无需管理人员去井下确认，避免人员因在井下作业常罹患的肺尘病、噪声聋等职业病。
3、降低人力资源成本，减少井下作业人员，减少工作流程，提升安全性。能实现对施工全过程自动计算分析，无需人工干预，减少劳动强度，实现智能化监控。
4、避免抽采钻孔造假导致的安全隐患，采用智能化和无人化的手段监管钻杆撤钻过程，实时对钻杆进行计数，做到每一根钻杆撤出都有时间有记录可查。
5、利旧，本发明基于矿场原有摄像设备，无需投入新设备，降低矿场成本，提高了设备利用率。
附图说明
图1为基于计算机视觉的矿下钻机钻杆计数方法的流程框图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例一，参考图1，本方案的基于计算机视觉的矿下钻机钻杆计数方法，具体包括以下步骤：
步骤S1、获取钻杆图像数据，将钻杆图像数据划分为两种类型数据，并将两种数据分别作为训练监测器的网络和训练重识别的网络的输入；
步骤S2、对两种数据进行图像增强处理；
步骤S3、将不同比例的高斯白噪声加入每一张清洗的图像中，模拟二氧化硅和粉尘造成的影响；
步骤S4、样本图片读入后被锁定为一个416*416的图像，图像包括三个尺度，分别将图像切割成13*13，26*26，52*52个区域，每一个区域经过Darknet；
步骤S5、对图像中是否含有监测物的候选框以及候选框的中心点、宽、高进行分类和回归任务，并修改分类任务的输出设置成1；
步骤S6、通过训练最小化损失函数，监测网络输出多个检测候选框，采用非极大抑制算法，对候选框进行一次过滤，将含有目标物体的概率值在0.5以下的部分作为错误预测过滤掉；
步骤S7、将在检验框中置信度最大的检验框作为输入框，依次计算输入框与候选检验框中有重叠的检验框的IOU，当计算的IOU值大于设定阈值时，过滤，并重复步骤S7，直至剩余候选边界框为零；
步骤S8、采用图像分类、卡尔曼滤波算法和匈牙利算法对监测到的目标进行跟踪计算。
瓦斯抽采钻孔深度的测量是煤矿井下安全生产规程中重要的一环，但是由于一些人为原因，有时井下工人不会按照安全生产规程正确操作，给自身生命安全带来巨大隐患。同时现有技术主要以人工计数、人工监看视频进行测验计数的方式，容易出现计数差错，出错概率较大。
本发明采用创新性计算机视觉技术，采用步骤S1-步骤S8的计算方法，能在施工现场复杂的环境中准确识别定向钻机和普通钻机的打钻过程，并且准确计数，不会有重复计算或者漏算的情况发生，避免人为因素带来的违规操作与监管不力，为井下工人生命安全提供基本保障。
实施例二，参考图1，本实施例将对实施例一进行详细描述；
本实施了方案以地下煤矿中覆盖的摄像头作为图像数据源，在服务器机房中运行整个计算过程，可实现一个摄像头多种算法的并行处理结构，具有如下的功能特征：
第一、通过有效的数据增强方式，大大提高了地下阴暗的作业环境造成的低质量图像数据的可靠性。
第二、通过迁移行人重识别的思路，对钻杆进行重识别，给每一根钻杆分配独立且唯一的记号，方便之后计数。
由于矿下的工作环境复杂多变，很多情况下画面不清晰，出现大量飞絮，严重影响检测器效果。飞絮主要是由游离二氧化硅和粉尘构成，二氧化硅浓度区间集中在2.3％～6.6％之间，摄像头在夜间模式时可见状态尤为明显。粉尘根据粒径大小，浓度值变化较大，小型粒子的浓度在50％～70％之间，大型粒子在50％左右。这些粒子在极端情况下如同沙尘暴，会对摄像头图像数据造成极其恶劣的破坏。
本专利使用Python为开发语言，以深度学习框架Pytorch为基础，有效实现画面不清时对钻杆的跟踪计数，具体流程分为钻杆的识别、过滤、排序和计数的步骤，其具体包括以下步骤：
步骤S1、获取钻杆图像数据，将钻杆图像数据划分为两种类型数据，并将两种数据分别作为训练监测器的网络和训练重识别的网络的输入。
其中，第一种类型对应标注文件为(c，x，y，w,h)，第二种为(c,id,x,y,w,h)。c为类型，x,y为钻杆候选框的中心位置坐标，w,h分别为钻杆中心候选框的宽和高，id为钻杆的编号。
步骤S2、对于整理好的两种数据，进行截取、旋转、对称变换、亮度变换、饱和度变换等图像数据增强的处理。
步骤S3、在每一张清洗图像中加入不同比例的高斯白噪声，模拟二氧化硅和粉尘造成的影响，以满足复杂场景变换后模型的鲁棒性。
步骤S4、样本图片读入后被锁定为一个416*416的图像，图像分为三个尺度，分别将图像切割成13*13，26*26，52*52个区域，让每一个区域经过Darknet。
步骤S5、对图像中是否含有监测物的候选框以及候选框的中心点、宽、高进行分类和回归任务，并修改分类任务的输出设置成1。
其中，候选框中的位置信息的损失为：
Figure BDA0003109520910000101
每个区域内候选框中物体的类别的损失为：
Figure BDA0003109520910000102
对任意区域内含有待检测目标和不含有待检测目标的概率损失为：
Figure BDA0003109520910000103
Figure BDA0003109520910000104
步骤S6、通过训练最小化损失函数，监测网络输出多个检测候选框，采用非极大抑制算法，对候选框做一次过滤，将含有目标物体的概率值在0.5以下的部分作为错误预测过滤掉。
步骤S7、将在检验框中置信度(存在目标物体概率值)最大的检验框作为输入框，与其它候选检验框中与其有重叠的检验框，依次计算IOU，当IOU值大于设定阈值(如0.5)时，过滤。重复执行这个步骤，直到其他候选边界框为零。
步骤S8、采用图像分类、卡尔曼滤波算法和匈牙利算法对监测到的目标进行跟踪计算。
其中，图像分类是针对钻杆计数加入的分类算法的特殊应用方式，现有技术钻杆计数过程在检测器工作后存在如下几大难点：
一是矿工在操作时经常出现退几根钻杆，再打几根钻杆的行为。
二是钻机在退钻的过程中会出现卡钻的异常工作情况，这期间钻杆在会在画面内来回抽动，对计数判别产生较大影响。
三是矿下的能见度不高，矿工头盔所带的射灯经常朝摄像头晃动，形成的光晕会检测器造成的影响可能出现识别标签丢失、误重识别、无识别等问题，检测目标消失帧数过高会直接丢失跟踪目标。
针对这三点问题，本方案设计一个角度分类器，其具体方法，包括：
1、当检测器检测到钻杆时，将检测目标区域图像输入分类器，对钻杆进行角度的180分类，得到该场景下的钻杆角度值θ。
2、当目标脱离钻机监测区域且钻杆角度出现较大变化时，视为退钻过程，退钻计数器加一，进钻计数器减一。
3、当目标从变化中的角度转化成相对固定的角度值且在检测区相对稳定时，视为进钻过程，退钻计数器减一，进钻计数器加一。
卡尔曼滤波算法用于对监测目标进行位置预测和状态更新，当监测目标在移动时，利用上一帧画面监测到的目标位置和速度矢量预测它下一帧画面可能的位置、速度、角度等参数。获得新的状态参数需要的预测值和观测值，对两个正态分布的状态进行线性加权，得到目前系统预测的状态。
匈牙利算法用于解决当画面中检测到多个目标时，下一帧画面中的检测目标和上一帧中的检测目标的匹配问题。
1、通过计算各个检测目标的相似度，建立一个相似度矩阵。
2、加入角度相似度矩阵。
3、计算两个矩阵的IoU(intersection over union)，并以两个相似度的加权作为总体检测目标的相似。
Figure BDA0003109520910000111
Figure BDA0003109520910000112
Similarity＝λ1SM1+λ2SM2
其中，IoU的计算为：
Figure BDA0003109520910000121
其中，A，B为两个要计算相似度的候选框矩阵。
相比传统跟踪匹配，本方案的匹配结果从原来的70％提高到87％，大大提高了跟踪效率。
实施例三，本实施例采用具体的案例进行说明；
1.采集矿下钻杆图像5000张，数据增强方法为对称反转、中心截取、旋转以及灰度变换。增强后图像数量达到50000张级别。其中70％用于训练集，15％用于验证集，通过验证的模型将于剩下15％的测试集上进行指标测试。
2.将数据集中各个钻杆图像截取生成分类数据集，按照钻杆角度，将数据分成180个类别分别代表0°到179°的钻杆状态。采用ResNet18对分类数据集训练，其中80％用作训练集，20％用作测试集。保存分类模型为best_classify.pth。
3.所有图像输入模型前重新变换成416*416像素，通过开启CUDA的Benchmark，加速模型训练。图像经过深度神经网络Darknet提取到钻杆的特征信息。
4.得到的钻杆特征信息通过角度分类器得到角度特征值θ。
5.相邻两帧图像的钻杆之间的特征信息将通过滤波器预测其移动速度以及方向，同时IoU相似度和角度变换相似度计算，用来判断其匹配情况，用以实时追踪钻杆。
6.总共训练99个循环，每一个批次为4个样本，训练好的模型保存为best_model.pth，模型可以被调用于推理过程。
7.设置判断框，当钻杆从判断框内移动出，计为退钻，计数加1，当钻杆从判断区域外进入判断框内，计为进钻，计数减1。
实施例四，本实施例采用具体的案例进行说明，模型训练的过程与实施例三相同；
当钻杆重识别出现问题时，角度分类器以及角度相似度计算矩阵能够很大程度上解决匹配问题，从而降低重复计数的情况。但是在实际应用过程中，矿工头灯会有一定概率直射摄像头，造成不同程度的光晕，导致跟踪目标有极大可能丢失或者检测器失效。
为了解决这个问题，通过Opencv去设置一个光晕检测器，在每一帧图像被模型输入前，去做一个光晕过滤。过滤的原理是检测到光晕时，将光晕造成的丢失像素由上一帧画面补充，这可以极大程度上降低光晕造成的图像质量破坏。
虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (10)

1.一种基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，包括以下步骤：
S1、获取钻杆图像数据，将钻杆图像数据划分为两种类型数据，并将两种数据分别作为训练监测器的网络和训练重识别的网络的输入；
S2、对两种数据进行图像增强处理；
S3、将不同比例的高斯白噪声加入每一张清洗的图像中，模拟二氧化硅和粉尘造成的影响；
S4、样本图片读入后被锁定为一个416*416的图像，图像包括三个尺度，分别将图像切割成13*13，26*26，52*52个区域，每一个区域经过Darknet；
S5、对图像中是否含有监测物的候选框以及候选框的中心点、宽、高进行分类和回归任务，并修改分类任务的输出设置成1；
S6、通过训练最小化损失函数，监测网络输出多个检测候选框，采用非极大抑制算法，对候选框进行一次过滤，将含有目标物体的概率值在0.5以下的部分作为错误预测过滤掉；
S7、将在检验框中置信度最大的检验框作为输入框，依次计算输入框与候选检验框中有重叠的检验框的IOU，当计算的IOU值大于设定阈值时，过滤，并重复步骤S7，直至剩余候选边界框为零；
S8、采用图像分类、卡尔曼滤波算法和匈牙利算法对监测到的目标进行跟踪计算。
2.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，所述步骤S1的两种类型的数据包括：第一种类型对应标注文件为(c，x，y，w，h)，第二种为(c，id,x,y,w,h)，其中，c为类型，x,y为钻杆候选框的中心位置坐标，w,h分别为钻杆中心候选框的宽和高，id为钻杆的编号。
3.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，所述步骤S2中的图像增强处理包括：截取、旋转、对称变换、亮度变换和饱和度变换。
4.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，所述候选框中的位置信息的损失为：
Figure FDA0003109520900000021
其中，λcoor为坐标误差的权重系数，s2为搜索网格总数，B为检测框种数总和，
Figure FDA0003109520900000022
为存在指数，检测器的搜索网格i中有第j种检测框监测到目标时为1，不含监测目标时为0；wi，hi分别为检测目标框的宽度和高度，wl，hl分别为标注目标框的宽度和高度，xi，yi分别为检测目标框的中心坐标，xl，yl分别为标注目标框的中心坐标。
5.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，每个区域内候选框中物体的类别的损失为：
Figure FDA0003109520900000023
其中，λcls为分类误差的权重系数，s2代表搜索网格总数，B为检测框种数总和，
Figure FDA0003109520900000024
为存在指数，检测器的搜索网格i中有第j种检测框监测到目标时为1，不含监测目标时为0；pi(c)为目标是c类物体的概率，
Figure FDA0003109520900000025
为检测目标是c类物体的真实值。
6.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，对任意区域内含有待检测目标和不含有待检测目标的概率损失为：
Figure FDA0003109520900000026
Figure FDA0003109520900000031
其中，λobj,λnoobj分别是含有物体置信度误差的权重系数和不含物体置信度误差的权重系数，s2为搜索网格总数，B为检测框种数总和，
Figure FDA0003109520900000032
为存在指数，检测器的搜索网格i中有第j种检测框监测到目标时为1，不含监测目标时为0，
Figure FDA0003109520900000033
相反；ci和
Figure FDA0003109520900000034
分别为置信度的预测值和真实值。
7.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，步骤S8中采用角度分类器进行图像分类，包括：
当检测器检测到钻杆时，将检测目标区域图像输入分类器，对钻杆进行角度的180分类，得到场景下的钻杆角度值θ；
当目标脱离钻机监测区域且钻杆角度出现大于阈值的变化时，视为退钻过程，退钻计数器加一，进钻计数器减一；
当目标从变化中的角度转化成相对固定的角度值且在检测区相对稳定时，视为进钻过程，退钻计数器减一，进钻计数器加一。
8.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，步骤S8采用卡尔曼滤波对监测目标进行位置预测和状态更新，当监测目标移动时，根据上一帧画面监测到的目标位置和速度矢量预测下一帧画面的位置、速度、角度参数；并获得新的状态参数需要的预测值和观测值，对两个正态分布的状态进行线性加权，得到目前系统预测的状态。
9.根据权利要求1所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，在步骤S8中，当画面中检测到多个目标时，采用匈牙利算法判断下一帧画面中的检测目标和上一帧画面中的检测目标是否匹配，包括：
计算各个检测目标的相似度，构建一个相似度矩阵；
加入角度相似度矩阵；
计算相似度矩阵和角度相似度矩阵两个矩阵的IoU，并以两个相似度的加权作为总体检测目标的相似：
Figure FDA0003109520900000041
Figure FDA0003109520900000042
Similarity＝λ1SM1+λ2SM2
其中，SM1和SM2分别为IoU相似度矩阵和角度相似度矩阵，λ1，λ2分别为IoU相似度矩阵和角度相似度矩阵的加权系数；矩阵中的任意元素代表连续两帧画面(f1，f2)中物体1和物体2的IoU相似度
Figure FDA0003109520900000043
和角度相似度
Figure FDA0003109520900000044
10.根据权利要求9所述的基于计算机视觉的矿下钻机钻杆计数方法，其特征在于，IoU的计算为：
Figure FDA0003109520900000045
其中，A、B为两个计算相似度的候选框矩阵。
CN202110647114.5A 2021-06-10 2021-06-10 基于计算机视觉的矿下钻机钻杆计数方法 Pending CN113344882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110647114.5A CN113344882A (zh) 2021-06-10 2021-06-10 基于计算机视觉的矿下钻机钻杆计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110647114.5A CN113344882A (zh) 2021-06-10 2021-06-10 基于计算机视觉的矿下钻机钻杆计数方法

Publications (1)

Publication Number Publication Date
CN113344882A true CN113344882A (zh) 2021-09-03

Family

ID=77475652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110647114.5A Pending CN113344882A (zh) 2021-06-10 2021-06-10 基于计算机视觉的矿下钻机钻杆计数方法

Country Status (1)

Country Link
CN (1) CN113344882A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677413A (zh) * 2022-05-31 2022-06-28 深圳酷源数联科技有限公司 矿井下打钻数量检测系统
CN115131712A (zh) * 2022-07-12 2022-09-30 安徽理工大学 一种计算机视觉驱动的钻杆智能计数方法
CN117455802A (zh) * 2023-12-25 2024-01-26 榆林金马巴巴网络科技有限公司 一种本安型矿灯采集图像降噪增强方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677413A (zh) * 2022-05-31 2022-06-28 深圳酷源数联科技有限公司 矿井下打钻数量检测系统
CN115131712A (zh) * 2022-07-12 2022-09-30 安徽理工大学 一种计算机视觉驱动的钻杆智能计数方法
CN115131712B (zh) * 2022-07-12 2024-07-16 安徽理工大学 一种计算机视觉驱动的钻杆智能计数方法
CN117455802A (zh) * 2023-12-25 2024-01-26 榆林金马巴巴网络科技有限公司 一种本安型矿灯采集图像降噪增强方法
CN117455802B (zh) * 2023-12-25 2024-04-05 榆林金马巴巴网络科技有限公司 一种本安型矿灯采集图像降噪增强方法

Similar Documents

Publication Publication Date Title
CN113344882A (zh) 基于计算机视觉的矿下钻机钻杆计数方法
CN107145851A (zh) 建筑作业区危险源智能识别系统
CN114673558B (zh) 一种煤矿掘进工作面风险识别与智能预控系统及方法
CN110119701B (zh) 基于视觉关系检测的煤矿综采工作面不安全行为识别方法
CN111339883A (zh) 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN106951889A (zh) 井下高危区域动目标监测和管理系统
CN101325690A (zh) 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN111681382A (zh) 一种基于视觉分析检测施工现场跨越临时围栏的方法
CN106355162A (zh) 一种基于视频监控的入侵检测方法
Zhou et al. Leveraging deep convolutional neural networks pre-trained on autonomous driving data for vehicle detection from roadside LiDAR data
Zhang et al. Deep learning‐based automatic detection of muck types for earth pressure balance shield tunneling in soft ground
CN104392464A (zh) 一种基于彩色视频图像的人为入侵检测方法
KR20210133827A (ko) 딥러닝 모델을 학습시키기 위한 장치 및 그 방법
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
CN114529880A (zh) 一种城市轨道异物侵限检测方法、装置、系统及存储介质
CN114445398A (zh) 采煤机液压支架护帮板状态监测方法及装置
CN109873990A (zh) 一种基于计算机视觉的矿山非法开采预警方法
CN116777085B (zh) 基于数据分析和机器学习技术的煤矿水害预测系统
Du et al. Applications of machine vision in coal mine fully mechanized tunneling faces: a review
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN111126192A (zh) 一种基于深度学习煤矿井下物体状态识别系统
CN117475464A (zh) 一种基于图像识别的钻井溢流人员操作风险监测系统及方法
Netto et al. Early Defect Detection in Conveyor Belts using Machine Vision.
CN117514352B (zh) 一种基于视频识别的煤矿水害预警系统
Zhong Risk early warning model of tunnel engineering based on computer vision and CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination