CN114677413A - 矿井下打钻数量检测系统 - Google Patents

矿井下打钻数量检测系统 Download PDF

Info

Publication number
CN114677413A
CN114677413A CN202210603237.3A CN202210603237A CN114677413A CN 114677413 A CN114677413 A CN 114677413A CN 202210603237 A CN202210603237 A CN 202210603237A CN 114677413 A CN114677413 A CN 114677413A
Authority
CN
China
Prior art keywords
frame
depth image
drill rod
drilling
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210603237.3A
Other languages
English (en)
Inventor
杨成和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kuyuan Digital Technology Co ltd
Original Assignee
Shenzhen Kuyuan Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kuyuan Digital Technology Co ltd filed Critical Shenzhen Kuyuan Digital Technology Co ltd
Priority to CN202210603237.3A priority Critical patent/CN114677413A/zh
Publication of CN114677413A publication Critical patent/CN114677413A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种矿井下打钻数量检测系统，包括深度相机以及处理设备，深度相机基于距离感知，具有全天候、不依赖照明以及数据稳定的特点，可以抵抗井下暗光和浓雾环境对打钻数量统计的干扰，基于深度相机采集的深度图像，处理设备可以自动对深度图像中的钻杆目标进行检测，进而跟踪钻杆目标的运动轨迹，当运动轨迹满足预设轨迹时，打钻数量加1，从而完成打钻数量的检测，具有准确、实时、高效等优点，并且更具鲁棒性，即使在无照明和浓雾环境下也能正常工作，实现7x24小时、全天候实时检测，对矿井智能化建设有积极推动作用。

Description

矿井下打钻数量检测系统
技术领域
本发明属于矿井打钻技术领域，尤其涉及一种矿井下打钻数量检测系统。
背景技术
目前，统计矿井下打钻数量的方法分为人工现场监督计算的方法和视频监控自动统计的方法。
其中，人工现场监督计算的方法耗时耗力，且统计结果容易受人为因素影响，可能不准确；而视频监控自动统计的方法受环境因素影响较大，如在暗光、浓雾环境下视频监控拍摄质量降低，容易造成计数出错。
发明内容
基于此，针对上述技术问题，提供一种矿井下打钻数量检测系统。
为解决上述技术问题，本发明采用如下技术方案：
一种矿井下打钻数量检测系统，其特征在于，包括：
用于采集钻机在进行打钻作业时的深度图像的基于距离感知的深度相机，所述深度相机设于打钻面的上方，其采集的范围覆盖所述钻机所处位置；以及
处理设备，所述处理设备被配置为：
S110、从所述深度相机获取所述深度图像；
S120、从每一帧深度图像中识别钻杆目标；
S130、根据从每一帧深度图像中识别到的钻杆目标，跟踪所述钻杆目标的运动轨迹；
S140、判断所述运动轨迹是否满足预设轨迹，若是，则打钻数量加1。
本发明的深度相机基于距离感知，具有全天候、不依赖照明以及数据稳定的特点，可以抵抗井下暗光和浓雾环境对打钻数量统计的干扰，基于深度相机采集的深度图像，处理设备可以自动对深度图像中的钻杆目标进行检测，进而跟踪钻杆目标的运动轨迹，当运动轨迹满足预设轨迹时，打钻数量加1，从而完成打钻数量的检测，具有准确、实时、高效等优点，并且更具鲁棒性，即使在无照明和浓雾环境下也能正常工作，实现7x24小时、全天候实时检测，对矿井智能化建设有积极推动作用。
附图说明
下面结合附图和具体实施方式对本发明进行详细说明：
图1为本发明的结构示意图。
具体实施方式
以下将结合说明书附图对本发明的实施方式予以说明。需要说明的是，本说明书中所涉及的实施方式不是穷尽的，不代表本发明的唯一实施方式。以下相应的实施例只是为了清楚的说明本发明专利的发明内容，并非对其实施方式的限定。对于该领域的普通技术人员来说，在该实施例说明的基础上还可以做出不同形式的变化和改动，凡是属于本发明的技术构思和发明内容并且显而易见的变化或变动也在本发明的保护范围之内。
如图1所示，本说明书实施例提供一种矿井下打钻数量检测系统，包括深度相机11以及处理设备12。
深度相机11用于采集钻机在进行打钻作业时的深度图像，其设于打钻面的上方，采集的范围覆盖钻机位置。
深度相机11基于距离感知，具有全天候、不依赖照明以及数据稳定的特点，可以抵抗井下暗光和浓雾环境对打钻数量统计的干扰。
在本实施例中，深度相机11采用基于tof的深度相机，如kinect2，该设备可以最高30帧每秒的速率获取512x424分辨率的深度图像。深度图像为单通道图像，图像中的每个像素代表着对应的空间位置到深度摄像机的距离。当然，也可以采用基于结构光的深度相机。
处理设备12为深度学习计算机（服务器），当然，也可以为其它的数据处理设备，其与深度相机11分别通过有线或者无线的方式接入矿井的局域网。
其中，处理设备12被配置为执行如下的计算机程序步骤：
S110、从深度相机11获取深度图像。
为了提高后续识别和跟踪的准确率，可以通过高斯滤波算法对获取的深度图像先进行去噪处理。
S120、从每一帧深度图像中识别钻杆目标：
S121、通过目标检测算法对第n帧深度图像中的钻杆目标进行目标检测，得到第一检测框，根据从第n-1帧深度图像中检测到的钻杆目标框，通过卡尔曼滤波算法预测钻杆目标在第n帧深度图像中的第二检测框，第n帧深度图像就是指当前深度图像。
S122、若从第n帧深度图像中检测到的第一检测框的数量为0，则将由卡尔曼滤波算法预测的钻杆目标在第n帧深度图像中的第二检测框作为当前深度图像的钻杆目标框。
S123、若从第n帧深度图像中检测到的第一检测框的数量大于0，则分别计算每个第一检测框与由卡尔曼滤波算法预测的钻杆目标在第n帧深度图像中的第二检测框之间的IOU，取IOU最大的第一检测框作为当前深度图像的钻杆目标框。如从第3帧深度图像中检测到的第一检测框的数量为5，则分别计算这5个第一检测框与由卡尔曼滤波算法预测的钻杆目标在第3帧深度图像中的第二检测框之间的IOU，假设这5个第一检测框中，第4个第一检测框与第二检测框之间的IOU最大，则将第4个第一检测框作为第3帧深度图像的钻杆目标框。
这样，可以以钻杆目标框代表钻杆目标进行后续的运动轨迹跟踪。
当然，也可以单纯使用目标检测算法得到每一帧深度图像的钻杆目标框：在第一帧的时候由人工给定钻杆目标框，在下一帧中使用检测到的第一检测框与上一帧的钻杆目标框计算IOU，然后选取IOU最大的第一检测框来更新钻杆目标框，以此类推，得到每一帧深度图像的钻杆目标框。
这里将目标检测算法与卡尔曼滤波算法进行结合可以避免单纯使用目标检测算法可能出现误报、漏报的情况。
上述目标检测算法可以通过预训练的卷积神经网络模型，从当前深度图像中检测到钻杆目标的第一检测框。
预训练即离线训练，用于在实际场合使用模型之前，对模型的参数进行固定（优化）。
在本实施例中，以钻机的钻杆夹紧装置代表钻杆目标，相应地，对每一帧深度图像中钻杆目标的识别和跟踪，都基于对夹紧装置的识别和跟踪，在训练卷积神经网络模型时，使用大量的钻杆夹紧装置的样本图片进行训练。
当然，也可以对钻杆上的其它部位进行识别和跟踪，或者，在钻杆上设置标识，则对该标识进行识别和跟踪。
S130、根据从每一帧深度图像中识别到的钻杆目标，跟踪钻杆目标的运动轨迹：基于从每一帧深度图像中检测到的钻杆目标框，进行运动轨迹的跟踪。
S140、判断运动轨迹是否满足预设轨迹，若是，则打钻数量加1。
在打钻过程中，钻杆目标会随着打钻的开始-结束进行周期性运动，对应的钻杆目标框的运动轨迹也会呈现前进-后退的周期变化，根据这种周期变化可以判断打钻是否已经完成，因此，预设轨迹设置为先前进、再后退。
需要指出的是，上述计算机程序可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在处理设备12上执行，或者在分布的多个处理设备12上执行。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (7)

1.一种矿井下打钻数量检测系统，其特征在于，包括：
用于采集钻机在进行打钻作业时的深度图像的基于距离感知的深度相机，所述深度相机设于打钻面的上方，其采集的范围覆盖所述钻机所处位置；以及
处理设备，所述处理设备被配置为：
S110、从所述深度相机获取所述深度图像；
S120、从每一帧深度图像中识别钻杆目标；
S130、根据从每一帧深度图像中识别到的钻杆目标，跟踪所述钻杆目标的运动轨迹；
S140、判断所述运动轨迹是否满足预设轨迹，若是，则打钻数量加1。
2.根据权利要求1所述的一种矿井下打钻数量检测系统，其特征在于，所述基于距离感知的深度相机采用基于tof或者结构光的深度相机。
3.根据权利要求1或2所述的一种矿井下打钻数量检测系统，其特征在于，所述S120进一步包括：
S121、通过目标检测算法对第n帧深度图像中的钻杆目标进行目标检测，得到第一检测框，根据从第n-1帧深度图像中检测到的钻杆目标框，通过卡尔曼滤波算法预测钻杆目标在第n帧深度图像中的第二检测框，所述第n帧深度图像代表当前深度图像；
S122、若从第n帧深度图像中检测到的第一检测框的数量为0，则将由卡尔曼滤波算法预测的钻杆目标在第n帧深度图像中的第二检测框作为当前深度图像的钻杆目标框；
S123、若从第n帧深度图像中检测到的第一检测框的数量大于0，则分别计算每个第一检测框与由卡尔曼滤波算法预测的钻杆目标在第n帧深度图像中的第二检测框之间的IOU，取IOU最大的第一检测框作为当前深度图像的钻杆目标框。
4.根据权利要求3所述的一种矿井下打钻数量检测系统，其特征在于，以钻机的钻杆夹紧装置代表所述钻杆目标。
5.根据权利要求4所述的一种矿井下打钻数量检测系统，其特征在于，所述S130进一步包括：
根据从每一帧深度图像中检测到的钻杆目标框，跟踪所述钻杆目标的运动轨迹。
6.根据权利要求5所述的一种矿井下打钻数量检测系统，其特征在于，所述预设轨迹为先前进、再后退。
7.根据权利要求6所述的一种矿井下打钻数量检测系统，其特征在于，所述S110进一步包括：
通过高斯滤波算法对获取的深度图像进行去噪处理。
CN202210603237.3A 2022-05-31 2022-05-31 矿井下打钻数量检测系统 Pending CN114677413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210603237.3A CN114677413A (zh) 2022-05-31 2022-05-31 矿井下打钻数量检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210603237.3A CN114677413A (zh) 2022-05-31 2022-05-31 矿井下打钻数量检测系统

Publications (1)

Publication Number Publication Date
CN114677413A true CN114677413A (zh) 2022-06-28

Family

ID=82081176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210603237.3A Pending CN114677413A (zh) 2022-05-31 2022-05-31 矿井下打钻数量检测系统

Country Status (1)

Country Link
CN (1) CN114677413A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180005393A1 (en) * 2016-06-30 2018-01-04 Daqri, Llc Deep Image Localization
CN112487908A (zh) * 2020-11-23 2021-03-12 东南大学 基于车载视频的前方车辆压线行为检测和动态追踪方法
CN112580609A (zh) * 2021-01-26 2021-03-30 南京北路智控科技股份有限公司 一种煤矿钻杆计数方法
CN112883830A (zh) * 2021-01-29 2021-06-01 南京北路智控科技股份有限公司 一种钻杆实时自动计数方法
CN113344882A (zh) * 2021-06-10 2021-09-03 成都光束慧联科技有限公司 基于计算机视觉的矿下钻机钻杆计数方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180005393A1 (en) * 2016-06-30 2018-01-04 Daqri, Llc Deep Image Localization
CN112487908A (zh) * 2020-11-23 2021-03-12 东南大学 基于车载视频的前方车辆压线行为检测和动态追踪方法
CN112580609A (zh) * 2021-01-26 2021-03-30 南京北路智控科技股份有限公司 一种煤矿钻杆计数方法
CN112883830A (zh) * 2021-01-29 2021-06-01 南京北路智控科技股份有限公司 一种钻杆实时自动计数方法
CN113344882A (zh) * 2021-06-10 2021-09-03 成都光束慧联科技有限公司 基于计算机视觉的矿下钻机钻杆计数方法

Similar Documents

Publication Publication Date Title
US11906283B2 (en) System and method for locating, measuring, counting, and aiding in the handling of drill pipes
CN107818571A (zh) 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN103096121B (zh) 一种摄像头移动检测方法及装置
CN109447090B (zh) 一种屏蔽门障碍物检测方法及检测系统
CN116385948B (zh) 一种预警铁路边坡异常的系统和方法
JP2019158871A (ja) 自動尿追跡方法及び装置
CN113111805A (zh) 一种基于机器视觉的煤矿井下打钻数量统计方法
CN117671799B (zh) 结合深度测量的人体跌倒检测方法、装置、设备及介质
JP7125843B2 (ja) 障害検知システム
CN118397047B (zh) 一种基于循环神经网络的目标跟踪方法、系统及电子设备
CN110503663B (zh) 一种基于抽帧检测的随机多目标自动检测跟踪方法
KR102107957B1 (ko) 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법
CN113781516B (zh) 一种高空抛物检测方法
CN107704818A (zh) 一种基于视频图像的火灾检测系统
CN117237369B (zh) 一种基于计算机视觉的高炉铁口开口深度测量方法
CN103729644B (zh) 地基光测设备克服恒星穿越探测窗口干扰的卫星跟踪方法
CN107729811B (zh) 一种基于场景建模的夜间火焰检测方法
CN114677413A (zh) 矿井下打钻数量检测系统
CN112967335A (zh) 气泡尺寸监测方法及装置
CN103400395A (zh) 一种基于haar特征检测的光流跟踪方法
CN113052019A (zh) 目标跟踪方法及装置、智能设备和计算机存储介质
CN103093481A (zh) 一种基于分水岭分割的静态背景下运动目标检测方法
CN116245838A (zh) 一种岩土勘探行为的监测方法、监测装置、设备及介质
CN114511812A (zh) 一种基于机器视觉的井下钻杆自动计数的方法
CN110969875B (zh) 一种用于道路交叉口交通管理的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination