CN114511812A - 一种基于机器视觉的井下钻杆自动计数的方法 - Google Patents
一种基于机器视觉的井下钻杆自动计数的方法 Download PDFInfo
- Publication number
- CN114511812A CN114511812A CN202210149397.5A CN202210149397A CN114511812A CN 114511812 A CN114511812 A CN 114511812A CN 202210149397 A CN202210149397 A CN 202210149397A CN 114511812 A CN114511812 A CN 114511812A
- Authority
- CN
- China
- Prior art keywords
- counting
- drill rod
- drill
- underground
- drilling machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000005553 drilling Methods 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims abstract description 5
- 230000000737 periodic effect Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 2
- 230000001174 ascending effect Effects 0.000 abstract description 2
- 238000001914 filtration Methods 0.000 description 7
- 239000003245 coal Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000002817 coal dust Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种基于机器视觉的井下钻杆自动计数的方法，其特征在于，包括如下步骤，(1)读取井下打钻场景视频进行拆帧，对拆得图像进行预处理，解决图像对比度小的问题，(2)对预处理的视频图像用所训练的目标检测模型进行二分类的目标检测跟踪，跟踪对象包括钻杆和钻机，(3)根据跟踪的钻杆钻机水平位置变化情况，在同一幅图中画出其周期性运动波形图，对退杆计数方式，若钻杆和钻机的双波形同时出现下降沿一次，则计数一次，对进杆计数方式，若钻杆和钻机的双波形同时出现上升沿一次，则计数一次。提高了计数的准确率。
Description
技术领域
本申请涉及一种基于机器视觉的井下钻杆自动计数的方法。
在井下采掘煤层的流程中，为了防止煤层中的瓦斯泄漏而扩散，通常工艺上需要预先在煤层中打钻进行瓦斯抽采检验，以保障井下环境的安全性。井下作业规范对钻杆打入的深度有明确要求。由于一根钻杆的长度通常标准化、为固定长，特别是远小于所要求的钻杆打入深度，因此，实际中要打入多根钻杆来保证足够深度，这样，就存在一个瓦斯抽采中打入钻杆数目的计数问题，从而判断瓦斯抽采的力度是否合格。
目前井下采取的传统钻杆计数方法多为人工计数，这种方法随着工作时长的增加，矿工容易出现疲惫的情况导致计数错误。行程开关计数法也常被用于钻杆计数，但由于机械开关触点接触瞬间存在振动，闭合不稳定，计数准确率较差。接近开关优于行程开关，可结合可编程逻辑控制器(PLC)实现钻杆计数，但这种方式无法记录时间信息判断打钻为打入还是取出，容易造成钻杆计数误判，降低识别准确率。
完善的钻杆计数应当满足这样的条件：能自动判断取出或打入模式，能正确计数，不可人为修改打钻数目，可事后验证。因此，基于机器视觉的井下钻杆自动计数应该是一个方向。
背景技术
基于机器视觉自动进行井下钻杆计数，其工作阶段的流程是：采集井下打钻场景视频，预处理，基于训练好的模型追踪运动目标，基于追踪的运动目标坐标绘制一函数曲线图，基于绘制的曲线图得出钻杆数量。视频预处理主要包括对原始视频进行拆帧，进行去除相似颜色干扰和降噪等图像预处理操作；去除相似颜色干扰和降噪，可采用均值滤波、中值滤波、高斯滤波等方法。目标跟踪，筛选监控视频中目标区域图像，并建立目标外接矩形框的坐标集合。在学习阶段，需要人工标注打钻场景视频，据此训练运动目标追踪模型，总结钻杆计数规则。
申请号为202110103397.7名称为“一种煤矿钻杆计数方法”的一个发明，其特征在于，建立钻杆区域图像中钻杆轮廓外接矩形框坐标集合，根据坐标绘制类反抛物线曲线，对波谷进行计数即为钻杆数目。
申请号为202010448311.X名称为”一种用于井下钻杆计数的视觉统计方法”的一个发明，其特征在于，基于训练的网络检测视频并输出置信度百分比，运用积分法对视频输出置信度进行滤波，最后通过下降沿计算视频中卸杆数量。
申请号为202110422894.3名称为”一种基于机器视觉的煤矿井下打钻数量统计方法”的一个发明，其特征在于，识别跟踪钻机动力头位置，基于其运动的周期性进行计数。
申请号为202110647114.5名称为“基于计算机视觉的矿下钻机钻杆计数方法”的一个发明，其特征在于，对图像候选框及其中心点、宽、高进行分类和回归任务，以检验框中置信度最大的检验框作为输入框，依次计算输入框与候选框中有重叠的检验框IOU值，当计算的IOU值大于设定阈值时进行过滤筛选符合要求的钻杆目标图像。
申请号为202110755483.6名称为“一种基于人体姿态识别的打钻视频退杆计数方法”的一个发明，其特征在于，利用人体骨骼关键点坐标与钻杆框选区域是否重合判断是否存在搬运钻杆的动作进行计数。
申请号为202110755589.6名称为“一种基于视频识别的矿井打钻智能管理方法”一个发明，其特征在于，后端服务器对视频进行分析，算法完成钻场标志牌内相关信息的识别并记录，完成钻杆计数。
论文“基于改进ResNet网络的井下钻杆计数方法”，其特征在于，结合预热加衰减的学习率更新策略，有效提高图像分类模型的分类精度，通过积分法对视频分类置信进行滤波，并统计置信度曲线下降沿数量实现钻杆计数。
以上提到的各环节的很多方法比较常见，但针对目标跟踪部分，上述方法均只以钻杆或人体一种目标进行研究判断，计数准确率有待提高。基于机器视觉自动进行井下钻杆计数还有很大的研究空间。
发明内容
发明目的
提出一种基于机器视觉的井下钻杆自动计数的方法，能稳定地高鲁棒性地自动进行钻杆数目检测，并具有较高的准确率。
技术方案
一种基于机器视觉的井下钻杆自动计数的方法，其特征在于，包括如下步骤，(1)读取井下打钻场景视频进行拆帧，对拆得图像进行预处理，解决图像对比度小的问题，(2)对预处理的视频图像用所训练的目标检测模型进行二分类的目标检测跟踪，跟踪对象包括钻杆和钻机，(3)根据跟踪的钻杆钻机水平位置变化情况，在同一幅图中画出其周期性运动波形图，对退杆计数方式，若钻杆和钻机的双波形同时出现下降沿一次，则计数一次，对进杆计数方式，若钻杆和钻机的双波形同时出现上升沿一次，则计数一次。
根据以上所述的一种基于机器视觉的井下钻杆自动计数的方法，由于井下光线昏暗煤尘飞扬等原因，容易导致对跟踪目标造成较大的识别误差，在第(2)步中利用了一种改进核相关滤波算法(KCF)的跟踪算法，引进循环矩阵生成样本，使用相关滤波器进行跟踪，把以前只能用单通道的灰度特征改进为多通道的HOG特征或者其他特征，对训练数据进行了扩充；利用循环矩阵，把图像向上、向下分别移动不同的像素得到新的样本图像，即循环之后的样本，直接增加了样本的数量，然后用新的样本图像来对分类器进行训练，提高训练的分类器效果。
根据以上所述的一种基于机器视觉的井下钻杆自动计数的方法，第(2)步基于训练的模型进行检测跟踪，训练模型时对经过预处理的视频图像样本，计算钻杆钻机目标框的中心位置坐标，将预测结果转换到原图像尺度作为输入，遍历数据批量，通过计算预测结果与目标框的重叠度，利用目标框的中心坐标构建目标。
为了提高检测的速度，使用核函数，对偶相关滤波去计算跟踪目标位置，将新样本直接映射到核空间，使用训练得到的函数进行运算得到函数值，对所有的位置都进行计算，快速检测到目标的位置所在。
根据以上所述的一种基于机器视觉的井下钻杆自动计数的方法，其特征在于，第(3)步分析目标运动时，以钻杆钻机目标运动的起始点作为锚点画出运动波形图，横轴为时间轴(单位毫秒)，纵轴为水平像素，周期运动波形图中，分别用不同标识曲线记录钻机钻杆运动波形，对退杆计数方式，若钻杆和钻机的双波形同时出现下降沿一次，则计数一次，对进杆计数模式，若钻杆和钻机的双波形同时出现上升沿一次，则计数一次。
有益效果
目前，尚未见文献报道依据钻杆与钻机动力头的双波形运动模型进行计数。
本申请方法读取井下视频，在第(2)步对钻杆目标的框选标识部分利用了基于改进核相关滤波算法(KCF)的跟踪算法，用卡尔曼滤波器解决部分人员遮挡问题，并将运动特征和颜色特征相结合，解决井下视频相似颜色干扰的问题，相对于其他文献中传统的Camshift算法，具有即使运动目标做加速运动时也可准确预测运动目标的位置，缩小目标搜索范围，进而提高目标跟踪速度的优势，因此传入不同场景或角度井下视频进行学习时，能实时准确地跟踪目标，提高计数准确度。
钻杆与钻机动力头双波形运动模型解决了井下情况复杂对于某时刻钻杆图像由于粉尘飞扬或人体遮挡的情况，仅当两者运动波形都在波谷下降沿时计退杆数，解决了因单一目标检测框识别不准导致准确率下降的问题。根据专利CN 113111805 A“一种基于机器视觉的煤矿井下打钻数量统计方法”，单记录钻机动力头的位置变化情况时，识别准确率为92.4％；根据专利CN 111598042 A“一种用于井下钻杆计数的视觉统计方法”，单记录钻杆的位置变化情况时，识别准确率为97％；本申请方法结合钻杆与钻机动力头双波形运动波形，准确率为99.3％。
经过数次实验，本申请方法不仅实现钻机钻杆的跟踪还能够准确的计算打钻的数目，该系统实时地将当前打钻数目显示到系统界面上，并将记录保存到数据库，能稳定可靠快速地对井下钻杆进行计数，具有可行性，可以应用于井下瓦斯抽采钻机的钻杆计数中。
附图说明
图1，本申请基于机器视觉的钻杆计数方法框图。
图2，搭建的基于机器视觉的钻杆计数软件界面示意图。
图3，传入监控视频后显示的运动目标追踪情况。
图4，实施例中钻杆与钻机的运动波形图，实线为钻机运动波形，虚线为钻杆运动波形，垂直方向线段为退杆计数方式下的计数标识。
具体实施方式
实施例。搭建了基于机器视觉的钻杆计数软件系统，如图2所示，本申请涉及该系统的软件部分，按前文所述，实施步骤如下：
(1)读取井下视频监控文件，或者直接通过从摄像头传过来井下打钻视频，为了实验方便，采用直接打开视频文件的方式，通过点击开始按钮，可以查看目标跟踪情况，用户可选择结果显示分辨率和跳帧数，如图2；筛选监控区域中钻杆和钻机区域图像，并通过直方图均衡化对图像去除相似颜色干扰和降噪；样本图片读入后被转化为416*416大小的网格，增加灰度条用于防止失真，之后图片会被分成三个网格图片(13*13，26*26，52*52)。
(2)对预处理的视频图像用所训练的目标检测模型进行二分类的目标检测跟踪，跟踪对象包括钻杆和钻机。实施中，将图像数据划分为两种类型数据，分别作为训练监测器的网络和训练重识别的网络的输入，训练集和测试集以8∶2的比重进行划分，并利用一种基于改进核相关滤波算法(KCF)的跟踪算法进行处理；建立运动目标的识别矩形框，经过最小化损失函数训练，利用非极大抑制算法对输出的多个锚框进行过滤，将阈值低于0.9以下的锚框作为错误预测过滤。
(3)提取所有目标的中心点坐标集合，利用最小二乘法拟合钻杆坐标直线定为水平方向运动轴，在视频图像上标注，如图3，用不同标识分别绘制钻杆与钻机的运动曲线，横轴为时间轴(单位毫秒)，纵轴为水平像素，如图4；当两路信号均为下降沿时计数加一，在软件显示框中实时显示；且用户能根据需要随时对视频进行暂停调整。
Claims (4)
1.一种基于机器视觉的井下钻杆自动计数的方法，其特征在于，包括如下步骤，(1)读取井下打钻场景视频进行拆帧，对拆得图像进行预处理，解决图像对比度小的问题，(2)对预处理的视频图像用所训练的目标检测模型进行二分类的目标检测跟踪，跟踪对象包括钻杆和钻机，(3)根据跟踪的钻杆钻机水平位置变化情况，在同一幅图中画出其周期性运动波形图，对退杆计数方式，若钻杆和钻机的双波形同时出现下降沿一次，则计数一次，对进杆计数方式，若钻杆和钻机的双波形同时出现上升沿一次，则计数一次。
2.根据权利要求1所述的一种基于机器视觉的井下钻杆自动计数的方法，其特征在于，在第(2)步中利用了一种改进核相关滤波算法(KCF)的跟踪算法进行跟踪，将常规的单通道的灰度特征改进为多通道的HOG特征或者其他特征，并引进循环矩阵扩充样本，把图像向上、向下分别移动不同的像素得到新的样本图像，以增加样本数量，提高分类器训练效果。
3.根据权利要求1所述的一种基于机器视觉的井下钻杆自动计数的方法，第(2)步基于训练的模型进行检测跟踪，其特征在于，训练模型时对经过预处理的视频图像样本，计算钻杆钻机目标框的中心位置坐标，将预测结果转换到原图像尺度作为输入，遍历数据批量，通过计算预测结果与目标框的重叠度，利用目标框的中心坐标构建目标。
4.根据权利要求1所述的一种基于机器视觉的井下钻杆自动计数的方法，其特征在于，第(3)步分析目标运动时，以钻杆钻机目标运动的起始点作为锚点画出运动波形图，横轴为时间轴(单位毫秒)，纵轴为水平像素，周期运动波形图中，分别用不同标识曲线记录钻机钻杆运动波形，对退杆计数方式，若钻杆和钻机的双波形同时出现下降沿一次，则计数一次，对进杆计数模式，若钻杆和钻机的双波形同时出现上升沿一次，则计数一次。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210149397.5A CN114511812A (zh) | 2022-02-18 | 2022-02-18 | 一种基于机器视觉的井下钻杆自动计数的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210149397.5A CN114511812A (zh) | 2022-02-18 | 2022-02-18 | 一种基于机器视觉的井下钻杆自动计数的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114511812A true CN114511812A (zh) | 2022-05-17 |
Family
ID=81551406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210149397.5A Pending CN114511812A (zh) | 2022-02-18 | 2022-02-18 | 一种基于机器视觉的井下钻杆自动计数的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114511812A (zh) |
-
2022
- 2022-02-18 CN CN202210149397.5A patent/CN114511812A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10748035B2 (en) | Visually aided active learning for training object detector | |
| CN110390691B (zh) | 一种基于深度学习的矿石尺度测量方法及应用系统 | |
| US20210183050A1 (en) | Pipe feature identification using pipe inspection data analysis | |
| CN111709935B (zh) | 一种用于地面运动皮带上实时煤矸石定位识别方法 | |
| CN111242108B (zh) | 基于目标检测的皮带转载点堵煤识别方法 | |
| CN112633131B (zh) | 一种基于深度学习视频识别的井下自动跟机方法 | |
| CN108229483A (zh) | 基于caffe与软触发下的门牌压印字符识别装置 | |
| CN111640135A (zh) | 一种基于硬件前端的tof摄像头行人计数方法 | |
| CN112801061A (zh) | 一种体态识别方法及系统 | |
| US20220386571A1 (en) | Fish counting system, fish counting method, and program | |
| CN110136186B (zh) | 一种用于移动机器人目标测距的检测目标匹配方法 | |
| JP4993678B2 (ja) | 対話型動画像監視方法、対話型動画像監視装置および対話型動画像監視プログラム | |
| CN107729811B (zh) | 一种基于场景建模的夜间火焰检测方法 | |
| CN114511812A (zh) | 一种基于机器视觉的井下钻杆自动计数的方法 | |
| CN112883836A (zh) | 一种煤矿井下巷道形变视频检测方法 | |
| CN117330582A (zh) | 一种高分子pe薄膜表面晶点检测系统 | |
| CN113642473A (zh) | 一种基于计算机视觉的矿下煤机状态识别方法 | |
| CN114387564A (zh) | 一种基于YOLOv5的磕头机停抽检测方法 | |
| Rakshit et al. | Railway Track Fault Detection using Deep Neural Networks | |
| CN112507902A (zh) | 交通标志异常检测方法、计算机设备及存储介质 | |
| Tingjiang et al. | Research and application of downhole drilling depth based on computer vision technique | |
| RU2802411C1 (ru) | Способ подсчета извлечения штанг на видеозаписях бурения на основе распознавания жестов человеческого тела | |
| CN115661714A (zh) | 一种煤矿井下钻探深度计算方法、系统及存储介质 | |
| CN209879574U (zh) | 一种基于智能视频分析的运动目标检测系统 | |
| CN113642572B (zh) | 一种基于多级注意力的图像目标检测方法、系统与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |