CN112580609A - 一种煤矿钻杆计数方法 - Google Patents

一种煤矿钻杆计数方法 Download PDF

Info

Publication number
CN112580609A
CN112580609A CN202110103397.7A CN202110103397A CN112580609A CN 112580609 A CN112580609 A CN 112580609A CN 202110103397 A CN202110103397 A CN 202110103397A CN 112580609 A CN112580609 A CN 112580609A
Authority
CN
China
Prior art keywords
drill rod
drill pipe
rectangular frame
coordinates
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110103397.7A
Other languages
English (en)
Other versions
CN112580609B (zh
Inventor
赵黄健
丁丁
张大伟
冯佳
金宇航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing North Road Intelligent Control Technology Co Ltd
Original Assignee
Nanjing North Road Intelligent Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing North Road Intelligent Control Technology Co Ltd filed Critical Nanjing North Road Intelligent Control Technology Co Ltd
Priority to CN202110103397.7A priority Critical patent/CN112580609B/zh
Publication of CN112580609A publication Critical patent/CN112580609A/zh
Application granted granted Critical
Publication of CN112580609B publication Critical patent/CN112580609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了本发明涉及煤矿钻井安全领域，尤其涉及一种煤矿钻杆计数方法，包括：筛选钻杆监控视频中钻杆区域图像，并建立钻杆轮廓外接矩形框的坐标集合；其中，钻杆轮廓外接矩形框的坐标包括钻杆轮廓外接矩形框中心点坐标；提取所有钻杆轮廓外接矩形框中心点坐标，建立钻杆轮廓外接矩形框中心点坐标的连续区域；对所述连续区域进行滤波处理，获得类反抛物线曲线，对所述类反抛物线曲线的每个波谷进行一次计数，每次计数即为煤矿钻杆的一次计数。本申请的技术方案有效解决了现有技术中煤矿钻杆无法精准自动计数的情况。

Description

一种煤矿钻杆计数方法
技术领域
本发明涉及煤矿钻井安全领域，尤其涉及一种煤矿钻杆计数方法。
背景技术
当前瓦斯都是采用钻孔抽取的办法获取。抽取瓦斯不仅降低矿内瓦斯含量，还提高了瓦斯使用效率，降低了对环境的污染。
采用钻孔抽取瓦斯时需要考虑到打钻深度，打钻深度与钻杆数目成直接关系，若打钻深度高出实际深度，将导致瓦斯无法抽取；若打钻深度低于实际深度，极易出现瓦斯泄漏甚至造成瓦斯爆炸。因此钻杆的精确度确度对于煤矿安全生产起到了至关重要的作用。
但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：
目前打钻计数方法多采用人工统计，因打钻时间长，统计容易出错；
现有的根据视频系统进行自动计数方法较难适应多种打钻角度，且视频明暗变化大，容易造成部分钻孔计数缺少。
发明内容
本申请实施例通过提供一种煤矿钻杆计数方法，解决了现有技术中煤矿钻杆无法精准自动计数的情况。
本申请实施例提供了一种煤矿钻杆计数方法，包括：
筛选钻杆监控视频中钻杆区域图像，并建立钻杆轮廓外接矩形框的坐标集合；其中，钻杆轮廓外接矩形框的坐标包括钻杆轮廓外接矩形框中心点坐标；
提取所有钻杆轮廓外接矩形框中心点坐标，建立钻杆轮廓外接矩形框中心点坐标的连续区域；
对所述连续区域进行滤波处理，获得类反抛物线曲线，对所述类反抛物线曲线的每个波谷进行一次计数，每次计数即为煤矿钻杆的一次计数。
作为本申请改进的技术方案，所述建立钻杆轮廓外接矩形框的坐标集合包括：
训练钻杆视频检测模型；
基于所述钻杆视频检测模型对获取的钻杆监控视频进行检测，输出钻杆轮廓外接矩形框的坐标集合。
作为本申请改进的技术方案，所述训练钻杆视频检测模型包括：
获取当下钻杆监控视频中钻杆区域图像，并保存为透明背景的钻杆图像；
提取历史监控视频，抽帧后保存至历史数据集；
混合所述透明背景的钻杆图像与所述历史数据集，得到混合数据集；
对所述混合数据集中钻杆轮廓的外接矩形框中心点坐标、钻杆轮廓的外接矩形框高度与钻杆轮廓的外接矩形框的宽度分布进行保存，生成钻杆坐标文件；
将所述混合数据集与所述钻杆坐标文件使用YOLO-TINY进行训练，输出置信度大于设定值的钻杆识别边框的长度、宽度和中心点坐标。
作为本申请改进的技术方案，所述混合数据集采用如下方式得到：
随机仿射变换所述透明背景的钻杆图像；
随机混合随机仿射变换后的所述透明背景的钻杆图像和历史数据集中的图像；
随机混合的混合函数为：
(u,v)在Ct'内部，f(u,v)=a∙g(u,v)+(1-a)∙h(u,v)，
(u,v)在Ct'外部，f(u,v)=h(u,v)，
其中，Ct'为随机仿射变换所述透明背景的钻杆图像中钻杆轮廓坐标；
g(u,v)为透明背景的钻杆图像像素灰度值；
h(u,v)为历史数据集中图像像素灰度值；
f(u,v)为混合数据集中的混合后图像像素灰度值；
u为透明背景的钻杆图像和历史数据集中图像的横坐标；
v为透明背景的钻杆图像和历史数据集中图像的纵坐标；
a为权重系数，取值[0.8,1.0]。
作为本申请改进的技术方案，所述建立钻杆轮廓外接矩形框中心点坐标的连续区域，包括：
映射所有钻杆轮廓外接矩形框中心点坐标至新建的单通道图像；所述单通道图像为与钻杆视频大小一致、灰度为255的二值化图像；
拟合映射后的所有钻杆轮廓外接矩形框中心点坐标所在直线，提取最大面积的连通区域，并将该最大面积的连通区域定义为钻杆轮廓外接矩形框中心点坐标的连续区域。
作为本申请改进的技术方案，所述拟合映射后的所有钻杆轮廓外接矩形框中心点坐标所在直线包括：将钻杆轮廓外接矩形框中心点坐标映射至单通道图像，将映射后的单通道图像灰度置0，累积设定数量的钻杆轮廓外接矩形框中心点坐标映射后，使用Ransac随机采样拟合直线，该直线判定为钻杆运动所在直线。
作为本申请改进的技术方案，所述提取最大面积的连通区域包括：使用膨胀核对映射后的单通道图像进行卷积操作；提取连通域，计算连通域面积并提取面积最大的区域。
作为本申请改进的技术方案，所述滤波包括对钻杆轮廓外接矩形框中心点坐标在连续10帧图像位置变化小于20个像素取其平均坐标，记录为1点。
作为本申请改进的技术方案，所述滤波包括将钻杆轮廓外接矩形框中心点坐标的连续区域中的高度数据按帧顺序分为若干组；
每组高度数据包含若干帧中钻杆轮廓外接矩形框中心点坐标的高度数据；若干帧按设定数目间隔，若遇未记录的帧则在相应帧处依据设定规则插值；
其中，每组高度数据初始时每帧设置相同权重，检测到钻杆轮廓外接矩形框中心点坐标高度数据突变则降低该组当前权重，加权平均钻杆轮廓外接矩形框中心点坐标的连续区域的高度数据，获得类反抛物线曲线。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
1、由于建立了视频检测模型，能够有效对实时视频以及历史视频进行逐帧检测，所以，有效解决了现有技术中视频统计被中断的问题，进而实现了精准计数。
2、本申请只对钻杆进行识别，使用钻杆轮廓矩形框的中心点坐标变化进行初始化，避免误识别干扰，将钻杆中心点运动轨迹转换为图像，使用形态学进行卸杆区域判断，进一步降低误识别干扰。
3、使用逐帧检测、数据分组分别计算、动态权重和曲线变化趋势判断有效地避免了短时人员经过带来的遮挡问题。
4.采用YOLO-TINY建立视频检测模型，由于该模型训练数据丰富，背景源自井下环境，钻杆图像由多种监控摄像头参数采集来源于历史数据，其能达到提高模型鲁棒性，提高检测精度。另外该模型还具有检测速度快，能够达到实时检测的目的。
综上，本申请采用视频检测模型分析视频，利用钻杆轮廓外接矩形框中心点坐标的连续区域的中心进行钻杆技术具有计数的可靠性与自动性，避免任何形式导致的误计数。
附图说明
图1 绘示实施例1实际应用中得到的类反抛物线的曲线；
图2 绘示实施例4实际应用中得到的类反抛物线的曲线，实施例4所检测的视频与实施例1所检测的视频为同一监测视频；
图3 绘示实施例5实际应用中得到的类反抛物线的曲线一，实施例5所检测的视频与实施例1所检测的视频为同一监测视频；
图4 绘示实施例5实际应用中得到的类反抛物线的曲线二，实施例5所检测的视频与实施例1所检测的视频为同一监测视频；
图5 绘示实施例5实际应用中得到的类反抛物线的曲线三，实施例5所检测的视频与实施例1所检测的视频为同一监测视频；
图6 绘示实施例5实际应用中得到的类反抛物线的曲线四，实施例5所检测的视频与实施例1所检测的视频为同一监测视频；
图7 绘示实施例5实际应用中得到的类反抛物线的曲线五，实施例5所检测的视频与实施例1所检测的视频为同一监测视频；
图8 绘示实施例5实际应用中得到的类反抛物线的曲线六，实施例5所检测的视频与实施例1所检测的视频为同一监测视频；
图9 绘示实施例5实际应用中得到的类反抛物线的曲线七，实施例5所检测的视频与实施例1所检测的视频为同一监测视频；
图10 绘示实施例5实际应用中得到的类反抛物线的曲线八，实施例5所检测的视频与实施例1所检测的视频为同一监测视频；
图11 绘示实施例5实际应用中得到的类反抛物线的曲线九，实施例5所检测的视频与实施例1所检测的视频为同一监测视频；
图12绘示实施例5实际应用中得到的类反抛物线的曲线十，实施例5所检测的视频与实施例1所检测的视频为同一监测视频；
图13 绘示实施例6的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
下面通过实施例，对本发明的技术方案做进一步的详细描述。
本申请通过历史数据建立视频检测模型，通过视频检测模型能够对实时检测视频或历史检测视频进行逐帧检测，并输出钻杆轮廓外接矩形框中心点坐标的连续区域的集合。对钻杆轮廓外接矩形框中心点坐标的连续区域的集合进行处理，通过提取处理后的最优连通的钻杆轮廓外接矩形框中心点所在直线，通过滤波得到最接近于类反抛物线的曲线，曲线每个最低点判定为一杆，实现智能计数。
相对于现有技术的人工技术，本申请的技术更加智能化，且避免光线影响、人员短时遮挡的影响，保证了钻杆的精准计数。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一
一种煤矿钻杆计数方法，包括：
采用现有技术中任何能够进行视频中图片处理的技术手段，筛选钻杆监控视频中钻杆区域。
图像处理钻杆区域，并建立钻杆轮廓外接矩形框的坐标集合；其中，钻杆轮廓外接矩形框的坐标包括钻杆轮廓外接矩形框中心点坐标。
提取所有钻杆轮廓外接矩形框中心点坐标，通过离散数学分析，建立钻杆轮廓外接矩形框中心点坐标的连续区域；
对所述连续区域进行滤波处理：由于每次钻杆，钻杆轮廓外接矩形框中心点坐标是时刻变化的（钻杆轮廓外接矩形框中心点坐标理论变化为反抛物线曲线，但实际由于人工操作钻杆的不同、视频角度变化等因素，通过视频监控能够获得的变化呈类反抛物线曲线）对所述类反抛物线曲线的每个波谷进行一次计数，每次计数即为煤矿钻杆的一次计数。
本实施例在用实际视频检测得到的类反抛物线的曲线如图1所示。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
本实施例通过离散数学分析，建立钻杆轮廓外接矩形框中心点坐标的视频监控曲线，实现钻杆的有效计数。本实施例的计数方法有效避免人工干扰，并能用于实时视频监控钻杆计数以及缓存的视频监控钻杆计数。
本实施例还将钻杆轮廓外接矩形框中心点的集合转换为图像，利用图像处理方法处理数据，减少计数难度和复杂度，能够有效地提取卸杆区域（钻杆轮廓外接矩形框中心点坐标的连续区域）。
实施例二
一种煤矿钻杆计数方法，包括：
建立钻杆视频检测模型；本实施例中，所述视频检测模型可采用现有技术中任何能够输出钻杆轮廓外接矩形框中心点坐标的模型均可。
基于所述钻杆视频检测模型对获取的钻杆监控视频进行检测，输出钻杆轮廓外接矩形框中心点坐标的集合。
映射所述集合中的所有钻杆轮廓外接矩形框中心点坐标至新建的单通道图像；所述单通道图像为与监控视频的图像大小一致、灰度为255的二值化图像。
拟合映射后的所述钻杆轮廓外接矩形框中心点坐标所在直线，提取最大面积的连通区域，并将该最大面积的连通区域定义为钻杆的卸杆区域（钻杆轮廓外接矩形框中心点坐标的连续区域）。
其中，所述拟合映射后的所述钻杆轮廓外接矩形框中心点坐标所在直线包括：将钻杆轮廓外接矩形框中心点坐标映射至单通道图像，将映射后的单通道图像灰度置0，累积设定数量（本实施例设为500点）的钻杆轮廓外接矩形框中心点映射后，使用Ransac随机采样拟合直线，该直线判定为钻杆运动所在直线。
提取钻杆轮廓外接矩形框中心点坐标的集合中每帧钻杆的中心点坐标，筛选出钻杆轮廓外接矩形框中心点坐标位于所述钻杆轮廓外接矩形框中心点坐标的连续区域，并对筛选出的所有钻杆轮廓外接矩形框中心点坐标的高度数据进行滤波（采用现有技术的任何滤波手段实现），获取其中钻杆轮廓外接矩形框中心点坐标高度变化呈类反抛物线的滤波曲线，其中，该滤波曲线的每处低点处判定为一杆。
所述提取最大面积的连通区域包括：使用膨胀核对映射后的单通道图像进行卷积操作；提取连通域，计算连通域面积并提取面积最大的区域。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
采用钻杆视频检测模型有效保证钻杆轮廓外接矩形框识别的自动化，并能将模型进行通用化，扩撒本申请技术方法的应用范围。
另外，本实施例的方案，能够快速地扩充数据集、使用井下视频图像作为背景，能够提高检测模型的检测精度。
实施例三
一种煤矿钻杆计数方法，包括：
建立钻杆视频检测模型：
S1获取当下钻杆监控视频中钻杆区域图像，并保存为透明背景的钻杆图像：用井下监控摄像头，设置不同的参数和不同的云台角度采集钻杆图像，抽帧进行钻杆轮廓绘制，保存为轮廓坐标文件，裁剪钻杆区域图像，保存为透明背景的钻杆图像。本步骤中采用不同参数、不同云台角度采集钻杆图像能保证训练集有一定的差异性。
S2提取历史监控视频，抽帧后保存至历史数据集：提取井下任意场景监控视频进行抽帧保存至数据集。
S3混合所述透明背景的钻杆图像与所述历史数据集，得到混合数据集。混合数据集采用如下步骤获取：
随机仿射变换所述透明背景的钻杆图像；
[Ct',Pc',H',W']=AR[Ct,Pc,H,W]
式中：
AR为仿射变换矩阵；
Ct为仿射变换前钻杆轮廓坐标；
Pc为仿射变换前钻杆轮廓的外接矩形框中心点坐标；
H为仿射变换前钻杆轮廓的外接矩形框高度；
W为仿射变换前钻杆轮廓的外接矩形框宽度；
Ct'为仿射变换后钻杆轮廓坐标；
Pc'为仿射变换后钻杆轮廓的外接矩形框中心点坐标；
H'为仿射变换后钻杆轮廓的外接矩形框高度；
W'为仿射变换后钻杆轮廓的外接矩形框宽度。
随机混合随机仿射变换后的所述透明背景的钻杆图像和历史数据集中的图像；
随机混合的混合函数为：
(u,v)在Ct'内部，f(u,v)=a∙g(u,v)+(1-a)∙h(u,v)，
(u,v)在Ct'外部，f(u,v)=h(u,v)，
其中，Ct'为随机仿射变换所述透明背景的钻杆图像中钻杆轮廓坐标；
g(u,v)为透明背景的钻杆图像像素灰度值；
h(u,v)为历史数据集中图像像素灰度值；
f(u,v)为混合数据集中的混合后图像像素灰度值；
u为透明背景的钻杆图像和历史数据集中图像的横坐标；
v为透明背景的钻杆图像和历史数据集中图像的纵坐标；
a为权重系数，取值[0.8,1.0]。
对所述混合数据集中钻杆轮廓的外接矩形框中心点坐标、钻杆轮廓的外接矩形框高度与钻杆轮廓的外接矩形框的宽度分布进行保存，生成钻杆坐标文件；
S4将所述混合数据集与所述钻杆坐标文件使用YOLO-TINY进行训练，输出置信度大于设定值（本实施例设为0.8）的钻杆识别边框的长度、宽度和中心点坐标。
模型应用：
对（实时或者缓存）视频流（即待检测视频流、获取的监测视频）依据模型进行逐帧检测，输出置信度大于设定值（本实施例设为0.8）的钻杆轮廓外接矩形框的坐标集合（即位于钻杆识别框中所有的钻杆轮廓外接矩形框的坐标的集合）。
提取所有钻杆轮廓外接矩形框中心点坐标，建立钻杆轮廓外接矩形框中心点坐标的连续区域；
对所述连续区域进行滤波处理，获得类反抛物线曲线，对所述类反抛物线曲线的每个波谷进行一次计数，每次计数即为煤矿钻杆的一次计数。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
对待检测视频（实时视频或历史视频）进行建立钻杆轮廓外接矩形框的坐标集合，有效保证模型对煤矿环境的适应性，尤其是对煤矿环境下钻杆识别的适应性。
另外，本实施例的方案，能够快速地扩充数据集、使用井下视频图像作为背景，能够提高检测模型的检测精度。
实施例四
一种煤矿钻杆计数方法，包括：
S1 筛选钻杆监控视频中钻杆区域图像，并建立钻杆轮廓外接矩形框的坐标集合；其中，钻杆轮廓外接矩形框的坐标包括钻杆轮廓外接矩形框中心点坐标；
S2 提取所有钻杆轮廓外接矩形框中心点坐标，建立钻杆轮廓外接矩形框中心点坐标的连续区域：映射所有钻杆轮廓外接矩形框中心点坐标至新建的单通道图像；所述单通道图像为与钻杆视频大小一致、灰度为255的二值化图像；
S3 拟合映射后的所有钻杆轮廓外接矩形框中心点坐标所在直线，提取最大面积的连通区域，并将该最大面积的连通区域定义为钻杆轮廓外接矩形框中心点坐标的连续区域。
其中，所述拟合映射后的所有钻杆轮廓外接矩形框中心点坐标所在直线包括：将钻杆轮廓外接矩形框中心点坐标映射至单通道图像，将映射后的单通道图像灰度置0，累积设定数量的钻杆轮廓外接矩形框中心点坐标映射后，使用Ransac随机采样拟合直线，该直线判定为钻杆运动所在直线。
其中，所述提取最大面积的连通区域包括：使用膨胀核对映射后的单通道图像进行卷积操作；提取连通域，计算连通域面积并提取面积最大的区域。具体是：所述提取最大面积的连通区域包括：
计算所述直线的水平夹角，定义：水平为映射后的单通道图像的宽度方向；
创建设定尺寸的矩形膨胀核；
根据所述水平夹角旋转矩形膨胀核，并对映射后的单通道图像进行卷积操作，得到膨胀后的单通道图像；
提取所述膨胀后的单通道图像中灰度为0的区域，计算该区域中连通域面积，并提取面积最大的连通区域，该膨胀后的单通道图像的最小外接矩形框判定为钻杆轮廓外接矩形框中心点坐标的连续区域。
S4对所述连续区域进行滤波处理，获得类反抛物线曲线，对所述类反抛物线曲线的每个波谷进行一次计数，每次计数即为煤矿钻杆的一次计数。
所述滤波包括对钻杆轮廓外接矩形框中心点坐标在连续10帧图像位置变化小于20个像素取其平均坐标，记录为1点。
本实施例在用实际视频检测得到的的类反抛物线的曲线如图2所示。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
在钻杆非水平运动时，通过旋转矩形膨胀核，生成更精确的连通区域，提高卸杆区域的判断精度；在实时检测过程中钻杆轮廓外接矩形框中心点坐标小范围漂移判断为同一位置，避免小范围中心点坐标累积过多造成钻杆卸杆区域计算精度降低的问题。
实施例五
一种煤矿钻杆计数方法，包括：
S1 筛选钻杆监控视频中钻杆区域图像，并建立钻杆轮廓外接矩形框的坐标集合；其中，钻杆轮廓外接矩形框的坐标包括钻杆轮廓外接矩形框中心点坐标；
S2 提取所有钻杆轮廓外接矩形框中心点坐标，建立钻杆轮廓外接矩形框中心点坐标的连续区域：映射所有钻杆轮廓外接矩形框中心点坐标至新建的单通道图像；所述单通道图像为与钻杆视频大小一致、灰度为255的二值化图像；
S3 拟合映射后的所有钻杆轮廓外接矩形框中心点坐标所在直线，提取最大面积的连通区域，并将该最大面积的连通区域定义为钻杆轮廓外接矩形框中心点坐标的连续区域。
其中，所述拟合映射后的所有钻杆轮廓外接矩形框中心点坐标所在直线包括：将钻杆轮廓外接矩形框中心点坐标映射至单通道图像，将映射后的单通道图像灰度置0，累积设定数量的钻杆轮廓外接矩形框中心点坐标映射后，使用Ransac随机采样拟合直线，该直线判定为钻杆运动所在直线。
其中，所述提取最大面积的连通区域包括：使用膨胀核对映射后的单通道图像进行卷积操作；提取连通域，计算连通域面积并提取面积最大的区域。具体是：所述提取最大面积的连通区域包括：
计算所述直线的水平夹角，定义：水平为映射后的单通道图像的宽度方向；
创建设定尺寸的矩形膨胀核；本实施例设为宽度13、高度5的矩形膨胀核；
根据所述水平夹角旋转矩形膨胀核，并对映射后的单通道图像进行卷积操作，得到膨胀后的单通道图像；
提取所述膨胀后的单通道图像中灰度为0的区域，计算该区域中连通域面积，并提取面积最大的连通区域，该膨胀后的单通道图像的最小外接矩形框判定为钻杆轮廓外接矩形框中心点坐标的连续区域。
S4对所述连续区域进行滤波处理，获得类反抛物线曲线，对所述类反抛物线曲线的每个波谷进行一次计数，每次计数即为煤矿钻杆的一次计数。
所述滤波包括将钻杆轮廓外接矩形框中心点坐标的连续区域中的高度数据按帧顺序分为若干组；
每组高度数据包含若干帧中钻杆轮廓外接矩形框中心点坐标的高度数据；若干帧按设定数目间隔，若遇未记录的帧则在相应帧处依据设定规则插值；
其中，每组高度数据初始时每帧设置相同权重，检测到钻杆轮廓外接矩形框中心点坐标高度数据突变则降低该组当前权重，加权平均钻杆轮廓外接矩形框中心点坐标的连续区域的高度数据，获得类反抛物线曲线1。
本实施例中：所述滤波包括建立10个空数组，按时序将钻杆轮廓外接矩形框中心点坐标高度依次存入10个数组：第一帧钻杆轮廓外接矩形框中心点坐标高度存入数组1，第二帧钻杆轮廓外接矩形框中心点坐标高度存入数组2，依次类推；轮空数组进行插值操作，补全数据保持每个数组大小相同；10个数组各时间点初始设置相同权重，检测到钻杆轮廓外接矩形框中心点坐标高度变化超过设定阈值则降低该组当前时间点权重，经过加权平均后的钻杆高度曲线每经过一次上升到下降的过程则计数加1。
插值操作如下：
以第一组为例，帧间隔为M，存储的数据为：Y=[P1,P1+M,P1+2M,…P1+NM]，数组下标顺序为X=[1,1+M,1+2M,1+NM]，依次取Y1=[P1,P1+M,P1+2M]、Y2[P1+M,P1+2M, P1+3M]…、X1=[1,1+M,1+2M]、X2=[1+M,1+2M,1+3M]…对X1，Y1二次项拟合[a,b,c]=polyfit(X1,Y1)，a，b，c为二次函数y=ax2+bx+c系数，对数组Y进行插值，取X1’=[1,2,3…M]，带入二次函数求解Y1’，依次类推，插值后的数组Y’=[ Y1’，Y2’，Y3’…YN-1’]。
权重设计如下：每个数组各时间点初始权重均为0.1，钻杆轮廓外接矩形框中心点坐标的连续区域高度变化D_DIFF超过设定阈值T，将当前时刻的权重降为0.1*T/D_DIFF,对10个权重进行归一化，经过加权平均后的钻杆高度曲线每经过一次上升到下降的过程则计数加1。
本实施例在用实际视频检测得到的的类反抛物线的曲线如图3-12所示。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
在有遮挡、漏检、误检的情况下，会造成钻杆高度发生突变，本实施例采用分组进行滤波处理，能够有效地降低高度突变造成计数错误的情况，提高计数准确性。
实施例六
如图13所示，一种煤矿钻杆计数方法，包括：
S1获取当下钻杆监控视频中钻杆区域图像，并保存为透明背景的钻杆图像。
S2提取历史钻杆监控视频，抽帧后保存至历史数据集。
S3混合所述透明背景的钻杆图像与所述历史数据集，得到混合数据集：
所述混合数据集采用如下方式得到：
随机仿射变换所述透明背景的钻杆图像；
随机混合随机仿射变换后的所述透明背景的钻杆图像和历史数据集中的图像；
随机混合的混合函数为：
(u,v)在Ct'内部，f(u,v)=a∙g(u,v)+(1-a)∙h(u,v)，
(u,v)在Ct'外部，f(u,v)=h(u,v)，
其中，Ct'为随机仿射变换所述透明背景的钻杆图像中钻杆轮廓坐标；
g(u,v)为透明背景的钻杆图像像素灰度值；
h(u,v)为历史数据集中图像像素灰度值；
f(u,v)为混合数据集中的混合后图像像素灰度值；
u为透明背景的钻杆图像或历史数据集中图像的横坐标；
v为透明背景的钻杆图像或历史数据集中图像的纵坐标；
a为权重系数，取值[0.8,1.0]。
S4对所述混合数据集中钻杆轮廓坐标、钻杆轮廓的外接矩形框中心点坐标、钻杆轮廓的外接矩形框高度与钻杆轮廓的外接矩形框的宽度分布进行保存，生成钻杆轮廓坐标文件。
S5将所述混合数据集与所述钻杆轮廓坐标文件使用YOLO-TINY进行训练，输出置信度大于设定值的钻杆识别框的坐标。
S6基于S5训练得到钻杆视频检测模型；对获取的钻杆监控视频进行检测，输出钻杆轮廓外接矩形框的坐标集合，其中，钻杆轮廓外接矩形框的坐标包括钻杆轮廓外接矩形框中心点坐标。
S7提取所有钻杆轮廓外接矩形框中心点坐标，建立钻杆轮廓外接矩形框中心点坐标的连续区域。
所述建立钻杆轮廓外接矩形框中心点坐标的连续区域，包括：
映射所有钻杆轮廓外接矩形框中心点坐标至新建的单通道图像；所述单通道图像为与钻杆视频大小一致、灰度为255的二值化图像；
拟合映射后的所有钻杆轮廓外接矩形框中心点坐标所在直线，提取最大面积的连通区域，并将该最大面积的连通区域定义为钻杆轮廓外接矩形框中心点坐标的连续区域。
所述拟合映射后的所有钻杆轮廓外接矩形框中心点坐标所在直线包括：将钻杆轮廓外接矩形框中心点坐标映射至单通道图像，将映射后的单通道图像灰度置0，累积设定数量的钻杆轮廓外接矩形框中心点坐标映射后，使用Ransac随机采样拟合直线，该直线判定为钻杆运动所在直线。
所述提取最大面积的连通区域包括：使用膨胀核对映射后的单通道图像进行卷积操作；提取连通域，计算连通域面积并提取面积最大的区域。
具体为：所述提取最大面积的连通区域包括：
计算所述直线的水平夹角，定义：水平为映射后的单通道图像的宽度方向；
创建设定尺寸的矩形膨胀核；
根据所述水平夹角旋转矩形膨胀核，并对映射后的单通道图像进行卷积操作，得到膨胀后的单通道图像；
提取所述膨胀后的单通道图像中灰度为0的区域，计算该区域中连通域面积，并提取面积最大的连通区域，该膨胀后的单通道图像的最小外接矩形框判定为钻杆轮廓外接矩形框中心点坐标的连续区域。
S8对所述连续区域进行滤波处理，获得类反抛物线曲线，对所述类反抛物线曲线的每个波谷进行一次计数，每次计数即为煤矿钻杆的一次计数。
所述滤波包括对钻杆轮廓外接矩形框中心点坐标在连续10帧图像位置变化小于20个像素取其平均坐标，记录为1点。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发
明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种煤矿钻杆计数方法，其特征在于，包括：
筛选钻杆监控视频中钻杆区域图像，并建立钻杆轮廓外接矩形框的坐标集合；其中，钻杆轮廓外接矩形框的坐标包括钻杆轮廓外接矩形框中心点坐标；
提取所有钻杆轮廓外接矩形框中心点坐标，建立钻杆轮廓外接矩形框中心点坐标的连续区域；
对所述连续区域进行滤波处理，获得类反抛物线曲线，对所述类反抛物线曲线的每个波谷进行一次计数，每次计数即为煤矿钻杆的一次计数。
2.根据权利要求1所述的一种钻杆计数方法，其特征在于，所述建立钻杆轮廓外接矩形框的坐标集合包括：
训练钻杆视频检测模型；
基于所述钻杆视频检测模型对获取的钻杆监控视频进行检测，输出钻杆轮廓外接矩形框的坐标集合。
3.根据权利要求2所述的一种钻杆技术方法，其特征在于，所述训练钻杆视频检测模型包括：
获取当下钻杆监控视频中钻杆区域图像，并保存为透明背景的钻杆图像；
提取历史监控视频，抽帧后保存至历史数据集；
混合所述透明背景的钻杆图像与所述历史数据集，得到混合数据集；
对所述混合数据集中钻杆轮廓的外接矩形框中心点坐标、钻杆轮廓的外接矩形框高度与钻杆轮廓的外接矩形框的宽度分布进行保存，生成钻杆坐标文件；
将所述混合数据集与所述钻杆坐标文件使用YOLO-TINY进行训练，输出置信度大于设定值的钻杆识别边框的长度、宽度和中心点坐标。
4.根据权利要求3所述的一种钻杆技术方法，其特征在于，所述混合数据集采用如下方式得到：
随机仿射变换所述透明背景的钻杆图像；
随机混合随机仿射变换后的所述透明背景的钻杆图像和历史数据集中的图像；
随机混合的混合函数为：
(u,v)在Ct'内部，f(u,v)=a∙g(u,v)+(1-a)∙h(u,v)，
(u,v)在Ct'外部，f(u,v)=h(u,v)，
其中，Ct'为随机仿射变换所述透明背景的钻杆图像中钻杆轮廓坐标；
u为透明背景的钻杆图像和历史数据集中图像的横坐标；
v为透明背景的钻杆图像和历史数据集中图像的纵坐标；
g(u,v)为透明背景的钻杆图像像素灰度值；
h(u,v)为历史数据集中图像像素灰度值；
f(u,v)为混合数据集中的混合后图像像素灰度值；
a为权重系数，取值[0.8,1.0]。
5.根据权利要求1所述的一种钻杆技术方法，其特征在于，所述建立钻杆轮廓外接矩形框中心点坐标的连续区域，包括：
映射所有钻杆轮廓外接矩形框中心点坐标至新建的单通道图像；所述单通道图像为与钻杆视频大小一致、灰度为255的二值化图像；
拟合映射后的所有钻杆轮廓外接矩形框中心点坐标所在直线，提取最大面积的连通区域，并将该最大面积的连通区域定义为钻杆轮廓外接矩形框中心点坐标的连续区域。
6.根据权利要求5所述的一种煤矿钻杆计数方法，其特征在于，所述拟合映射后的所有钻杆轮廓外接矩形框中心点坐标所在直线包括：将钻杆轮廓外接矩形框中心点坐标映射至单通道图像，将映射后的单通道图像灰度置0，累积设定数量的钻杆轮廓外接矩形框中心点坐标映射后，使用Ransac随机采样拟合直线，该直线判定为钻杆运动所在直线。
7.根据权利要求5所述的一种煤矿钻杆计数方法，其特征在于，所述提取最大面积的连通区域包括：使用膨胀核对映射后的单通道图像进行卷积操作；提取连通域，计算连通域面积并提取面积最大的区域。
8.根据权利要求1所述的一种煤矿钻杆计数方法，其特征在于，所述滤波包括对钻杆轮廓外接矩形框中心点坐标在连续10帧图像位置变化小于20个像素取其平均坐标，记录为1点。
9.根据权利要求1所述的一种煤矿钻杆计数方法，其特征在于，所述滤波包括将钻杆轮廓外接矩形框中心点坐标的连续区域中的高度数据按帧顺序分为若干组；
每组高度数据包含若干帧中钻杆轮廓外接矩形框中心点坐标的高度数据；若干帧按设定数目间隔，若遇未记录的帧则在相应帧处依据设定规则插值；
其中，每组高度数据初始时每帧设置相同权重，检测到钻杆轮廓外接矩形框中心点坐标高度数据突变则降低该组当前权重，加权平均钻杆轮廓外接矩形框中心点坐标的连续区域的高度数据，获得类反抛物线曲线。
CN202110103397.7A 2021-01-26 2021-01-26 一种煤矿钻杆计数方法 Active CN112580609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110103397.7A CN112580609B (zh) 2021-01-26 2021-01-26 一种煤矿钻杆计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110103397.7A CN112580609B (zh) 2021-01-26 2021-01-26 一种煤矿钻杆计数方法

Publications (2)

Publication Number Publication Date
CN112580609A true CN112580609A (zh) 2021-03-30
CN112580609B CN112580609B (zh) 2022-03-15

Family

ID=75145487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110103397.7A Active CN112580609B (zh) 2021-01-26 2021-01-26 一种煤矿钻杆计数方法

Country Status (1)

Country Link
CN (1) CN112580609B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113188465A (zh) * 2021-04-21 2021-07-30 中铁第四勘察设计院集团有限公司 一种基于视频学习的钻孔孔深识别方法及装置
CN113359635A (zh) * 2021-06-17 2021-09-07 中国水利水电第九工程局有限公司 矿石量化均质搭配智能控制方法
CN113570575A (zh) * 2021-07-28 2021-10-29 精英数智科技股份有限公司 一种基于目标检测的钻探深度统计方法及系统
CN113591590A (zh) * 2021-07-05 2021-11-02 天地（常州）自动化股份有限公司 一种基于人体姿态识别的打钻视频退杆计数方法
CN114677413A (zh) * 2022-05-31 2022-06-28 深圳酷源数联科技有限公司 矿井下打钻数量检测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598710A (zh) * 2018-11-29 2019-04-09 中国科学院重庆绿色智能技术研究院 一种煤矿钻杆自动计数方法及系统
CN112001420A (zh) * 2020-07-24 2020-11-27 武汉安视感知科技有限公司 一种矿井工人钻杆智能计时计数方法、设备及存储设备
CN112116633A (zh) * 2020-09-25 2020-12-22 深圳爱莫科技有限公司 一种矿井打钻计数方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598710A (zh) * 2018-11-29 2019-04-09 中国科学院重庆绿色智能技术研究院 一种煤矿钻杆自动计数方法及系统
CN112001420A (zh) * 2020-07-24 2020-11-27 武汉安视感知科技有限公司 一种矿井工人钻杆智能计时计数方法、设备及存储设备
CN112116633A (zh) * 2020-09-25 2020-12-22 深圳爱莫科技有限公司 一种矿井打钻计数方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113188465A (zh) * 2021-04-21 2021-07-30 中铁第四勘察设计院集团有限公司 一种基于视频学习的钻孔孔深识别方法及装置
CN113359635A (zh) * 2021-06-17 2021-09-07 中国水利水电第九工程局有限公司 矿石量化均质搭配智能控制方法
CN113591590A (zh) * 2021-07-05 2021-11-02 天地（常州）自动化股份有限公司 一种基于人体姿态识别的打钻视频退杆计数方法
CN113591590B (zh) * 2021-07-05 2024-02-23 天地（常州）自动化股份有限公司 一种基于人体姿态识别的打钻视频退杆计数方法
CN113570575A (zh) * 2021-07-28 2021-10-29 精英数智科技股份有限公司 一种基于目标检测的钻探深度统计方法及系统
CN114677413A (zh) * 2022-05-31 2022-06-28 深圳酷源数联科技有限公司 矿井下打钻数量检测系统

Also Published As

Publication number Publication date
CN112580609B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN112580609B (zh) 一种煤矿钻杆计数方法
CN111444809B (zh) 一种基于改进YOLOv3的输电线路异常目标检测方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN111814711B (zh) 一种应用于矿井机器视觉的图像特征快速匹配方法及系统
CN111881730A (zh) 一种火电厂现场安全帽佩戴检测方法
CN109902633A (zh) 基于固定位摄像机监控视频的异常事件检测方法及装置
CN109708658B (zh) 一种基于卷积神经网络的视觉里程计方法
CN105812618B (zh) 一种运动检测方法及运动检测装置
CN1546993A (zh) 红外目标检测跟踪与识别系统
CN107403451B (zh) 自适应二值特征单目视觉里程计方法及计算机、机器人
CN114743119A (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN110807765A (zh) 一种基于图像处理的悬垂绝缘子串倾斜检测方法与系统
CN111047624A (zh) 图像弱小目标检测方法、装置、设备及存储介质
CN113435278A (zh) 一种基于yolo的行吊安全检测方法及系统
CN111967345A (zh) 一种实时判定摄像头遮挡状态的方法
CN109064479A (zh) 一种基于邻近视频帧灰度动态特征的海天线检测方法
CN115880260A (zh) 基站施工的检测方法、装置、设备及计算机可读存储介质
CN113076889B (zh) 集装箱铅封识别方法、装置、电子设备和存储介质
CN113065454A (zh) 一种高空抛物目标识别比较的方法及装置
CN116403200A (zh) 基于硬件加速的车牌实时识别系统
CN112907734B (zh) 基于虚拟crh380a模型和深度学习的teds故障检测方法
CN114943770A (zh) 一种基于人工智能与建筑物信息的视觉定位方法及系统
CN110674778B (zh) 一种高分辨视频图像目标检测方法及装置
CN111583341B (zh) 云台像机移位检测方法
CN113642473A (zh) 一种基于计算机视觉的矿下煤机状态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant