CN115131712B - 一种计算机视觉驱动的钻杆智能计数方法 - Google Patents

Abstract

本发明公开了一种计算机视觉驱动的钻杆智能计数方法。本发明基于计算机视觉，将目标检测结合信号处理实现的钻杆智能计数。通过打钻过程的实时视频结合深度学习算法检测每帧图像中的钻杆，实时评估钻杆的相对大小，利用信号处理技术获得钻杆相对大小的实时平滑曲线，二值化平滑处理的钻杆的相对大小的实时曲线，得到图像中钻杆的编码二值曲线，统计矩形波形个数既可实现钻杆智能计数。本发明基于先进的深度学习算法和轻便的信号处理技术实现瓦斯抽采钻杆实时智能计数，对煤炭安全开采和煤矿智能化建设具有重要意义。

Description

一种计算机视觉驱动的钻杆智能计数方法

技术领域

本发明属于钻杆智能计数领域，具体是一种计算机视觉驱动的钻杆智能计数方法。

背景技术

“安全”是煤矿开采活动最重要话题，因此，采煤工作面瓦斯治理是煤矿安全生产重要一环，而瓦斯抽采是解决煤矿瓦斯事故的根本措施。煤矿瓦斯抽采就是向煤层和瓦斯集聚区域打钻，将钻孔接在专用的管路上，用抽采设备将煤层和采空区中的瓦斯抽至地面。

在瓦斯抽采钻孔设计中，其深度可达上百米。为达到钻孔的设计目标，充分抽采采煤工作面煤层中的瓦斯，需精准掌握钻孔的实际打钻深度。完成上百米的钻孔深度，需要上百只钻杆。井下环境复杂、工人劳动强度大，仅仅依靠井下工人计数钻杆使用量，难以达到设计目标，会导致安全隐患的存在。目前，公开的报道中，还未有能有效解决瓦斯抽采钻杆智能计数方法。本发明提出一种瓦斯抽采钻杆智能计数方法，基于井下监控视频，再结合本发明提出的方法，可实现钻杆智能、精准和高效的计数，这对煤矿安全生产和其智能化建设都具有重要意义。

发明内容

本发明的目的是提供一种钻杆计数方法，具体是由计算机视觉驱动，将目标检测结合信号处理实现的钻杆智能计数。通过打钻过程的实时视频结合深度学习算法检测每帧图像中的钻杆，实时评估钻杆的相对大小，利用信号处理技术获得钻杆相对大小的实时平滑曲线，最后根据曲线实现钻杆实时计数。本发明基于先进的深度学习算法和轻便的信号处理技术实现瓦斯抽采钻杆实时智能计数，对煤炭安全开采和煤矿智能化建设具有重要意义。

本发明实现发明目的采用如下技术方案：

一种计算机视觉驱动的钻杆智能计数方法，首先利用井下监控设备获得瓦斯抽采打钻过程的实时视频；其次，基于深度学习检测每帧视频图像中的钻杆，并根据检测结果统计钻杆坐标框面积，实时记录检测到的钻杆坐标框的面积；接着，通过滤波和除噪获得钻杆坐标框面积的实时平滑曲线；最后，二值化钻杆坐标框面积的曲线，进而实现钻杆的智能计数钻杆数目。进一步地，一种计算机视觉驱动的钻杆智能计数方法具体包括以下步骤：

S1、利用摄像设备获得钻杆钻孔全过程视频图像，基于图像增强技术，获得钻杆钻孔的高质量视频；

S2、基于高质量视频建立钻杆钻孔图像数据集，标注每张图像中钻杆，将标注好的数据集划分为训练集、验证集和测试集；

S3、构建适用于复杂环境中成像图像的钻杆检测深度学习模型，将建立的数据集用于构建的深度学习模型训练，保存最优权重；

S4、将钻杆钻孔的实时视频图像输入训练好的轻量化目标检测模型，获得每帧视频图像中钻杆的坐标框，根据钻杆坐标框的面积，实时记录钻杆的相对大小；

S5、利用信号处理技术处理钻杆的相对大小的实时曲线，获得平滑的钻杆大小实时曲线；

S6、二值化平滑处理的钻杆的相对大小的实时曲线，得到图像中钻杆的编码二值曲线。根据二值化后钻杆的相对大小曲线，统计矩形波形个数既可实现钻杆智能计数。

进一步地，所述步骤S1中的基于图像增强技术提高视频质量，具体包括图像的去噪和图像解模糊。视频图像中常见噪声有高斯噪声、泊松噪声、乘性噪声和椒盐噪声。针对这些井下复杂环境中成像图像中的噪声和钻杆转动导致的目标模糊，本发明提出的去噪方法包括均值滤波、高斯滤波、中值滤波和小波变换去噪。

进一步地，所述步骤S2中的图像数据集和图像的标注具体如下：

首先，利用OPENCV获得钻杆钻进过程视频图像，在图像采集过程时，每秒最多保存1张图片；

其次，利用开源目标检测标注软件，标注每一张图像中的钻杆坐标框[x1, y1,x2,y2]；其中，x1和y1是钻杆在图像中的左上的坐标，x2和y2是钻杆在图像中的右下坐标；

最后，将标注好的数据按14：3：3划分为训练集、验证集和测试集。

进一步地，所述步骤S3中的检测模型的建立和训练包括如下：

为实现视频中钻杆实时检测，钻杆检测模型采用一阶段深度学习目标检测架构，网络架构包括用于图像中钻杆特征学习的主干网络、用于图像中钻杆坐标框回归和标签映射的头部网络以及将主干网络和头部网络相连的颈部网络；

所述的主干网络包括多个卷积操作、批归一化操作、非线性映射和池化操作，网络的连接方式采用前向多支路短路连接；

所述的主干网络可根据场景和任务需求定制化设计，采用灵活的多选择的网络架构；其中，卷积操作可包括经典卷积、可分离卷积和空洞卷积，；非线性映射可选用Sigmoid函数、ReLu函数、PReLU函数、Leakyrelu函数和ELU函数，池化操作可用平均池化或最大池化。

所述的头部网络采用多尺度解耦头部，在输出通道将分类任务和坐标回归任务解耦分离，实现分别映射，在多种特征尺度上检测钻杆。

所述的颈部网络用于将主干网络学习获得的多尺度特征融合，然后将融合的多尺度特征桥接于头部网络。

所述的最优权重的是通过监视验证集损失，当验证集损失最小时，保存模型的权重。

进一步地，所述步骤S4中的钻杆坐标框的面积的计算如下：

a＝|(x′₂-x′₁)×(y′₂-y′₁)| (1)

公式(1)中，s是检测到钻杆的坐标框的面积，(x′₁,y′₁)是视频中检测到的钻杆的左上坐标，(x′₂,y′₂)是视频中检测到的钻杆的右下坐标。

进一步地，所述步骤S5中的钻杆的相对大小曲线的处理通过局部最小二乘多项式近似进行拟合，从而去除噪声。滤波后的数据在去除噪声的同时保持相同的信号结构。

钻杆的相对大小曲线最小二乘法拟合的窗口内2m+1个离散数据进行，假设连续数据a_i,i∈[-m,m],它的n阶拟合多项式为：

式(2)中，b为多项式的系数，i为权数，k为阶数，g为关于n阶的多项式函数。原始数据与拟合的多项式间的均方误差为ε_d，

公式(3)中，a_i是检测到钻杆的坐标框的面积。使均方误差最小，各项系数的导数均应为0，可得：

通过求解式(4)，可求出多项式各项系数a_k,从而得到拟合的n阶多项式g(n)，即为平滑后的钻杆的相对大小曲线。

进一步地，所述步骤S6中平滑处理的钻杆的相对大小曲线的二值化采用自适应法，具体计算如下：

公式(5)中，G′(a)是二值化后的钻杆的相对大小曲线，A是检测到的钻杆的相对大小的集合。

有益效果：

本发明现有技术相比，其有益效果体现在：本发明的目的是提供一种计算机视觉驱动的钻杆智能计数方法，利用摄像设备获得井下瓦斯抽采钻孔全过程视频，结合本发明提出的钻杆智能计数方法实现井下瓦斯抽钻杆实时计数。本发明提出方法是将目标检测结合信号处理实现钻杆智能计数，方法简单、易实现，克服人工计数的种种缺点，对煤矿的智能化建设也具有重要意义。此外，本发明钻杆目标检测模型采用轻量化深度学习架构，对计算机计算能力依赖小、运行速度快，可实现视频中钻杆实时检测和计数。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1一种计算机视觉驱动的钻杆智能计数方法流程

图2视频图像中钻杆目标检测轻量化深度模型架构

图3实际案例检测模型训练过程验证集损失曲线

图4实际案例测试数据钻杆检测结果展示

图5实际案例给定视频检测钻杆相对大小实时曲线

图6实际案例中钻杆相对大小实时曲线平滑处理

图7实际案例平滑处理钻杆相对大小曲线后二值化

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本发明的提供一种计算机视觉驱动的钻杆智能计数方法，将目标检测结合信号处理实现的钻杆智能计数。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

进一步地，参见图1：具体包括以下步骤：

S1、利用摄像设备获得钻杆钻孔全过程视频图像，基于图像增强技术，获得钻杆钻孔的高质量视频；

所述步骤S1中的基于图像增强技术提高视频质量，具体包括图像的去噪和图像解模糊；

视频图像中常见噪声有高斯噪声、泊松噪声、乘性噪声和椒盐噪声。针对这些井下复杂环境中成像图像中的噪声和钻杆转动导致的目标模糊，本发明提出的去噪方法包括均值滤波、高斯滤波、中值滤波和小波变换去噪。

S2、基于高质量视频建立钻杆钻孔图像数据集，标注每张图像中钻杆，将标注好的数据集划分为训练集、验证集和测试集：

首先，利用OPENCV获得钻杆钻进过程视频图像，在图像采集过程时，每秒最多保存1张图片；

其次，利用开源目标检测标注软件，标注每一张图像中的钻杆坐标框[x1, y1,x2,y2]；其中，x1和y1是钻杆在图像中的左上的坐标，x2和y2是钻杆在图像中的右下坐标；

最后，将标注好的数据按14：3：3划分为训练集、验证集和测试集。

S3、构建适用于复杂环境中成像图像的钻杆检测深度学习模型，具体如附图2所示，将建立的数据集用于构建的深度学习模型训练，保存最优权重；

为实现视频中钻杆实时检测，钻杆检测模型采用一阶段深度学习目标检测架构，网络架构包括用于图像中钻杆特征学习的主干网络、用于图像中钻杆坐标框回归和标签映射的头部网络以及将主干网络和头部网络相连的颈部网络；

所述的主干网络包括多个卷积操作、批归一化操作、非线性映射和池化操作，网络的连接方式采用前向多支路短路连接；

所述的主干网络可根据场景和任务需求定制化设计，采用灵活的多选择的网络架构；其中，卷积操作可包括经典卷积、可分离卷积和空洞卷积，；非线性映射可选用Sigmoid函数、ReLu函数、PReLU函数、Leakyrelu函数和ELU函数，池化操作可用平均池化或最大池化；

所述的头部网络采用多尺度解耦头部，在输出通道将分类任务和坐标回归任务解耦分离，实现分别映射，在多种特征尺度上检测钻杆；

所述的颈部网络用于将主干网络学习获得的多尺度特征融合，然后将融合的多尺度特征桥接于头部网络；

所述的最优权重的是通过监视验证集损失，当验证集损失最小时，保存模型的权重。

S4、将钻杆钻孔的实时视频图像输入训练好的轻量化目标检测模型，获得每帧视频图像中钻杆的坐标框，根据获得的钻杆坐标框的面积，实时记录钻杆的相对大小。钻杆坐标框的面积的计算如下：

a＝|(x′₂-x′₁)×(y′₂-y′₁)| (1)

公式(1)中，s是检测到钻杆的坐标框的面积，(x′₁,y′₁)是视频中检测到的钻杆的左上坐标，(x′₂,y′₂)是视频中检测到的钻杆的右下坐标。

S5、利用信号处理技术处理钻杆的相对大小的实时曲线，获得平滑的钻杆大小实时曲线。钻杆的相对大小曲线的处理通过局部最小二乘多项式近似进行拟合，从而去除噪声。滤波后的数据在去除噪声的同时保持相同的信号结构。

钻杆的相对大小曲线最小二乘法拟合的窗口内2m+1个离散数据进行，假设连续数据a_i,i∈[-m,m],它的n阶拟合多项式为：

式(2)中，b为多项式的系数，i为权数，k为阶数，g为关于n阶的多项式函数。原始数据与拟合的多项式间的均方误差为ε_d，

公式(3)中，a_i是检测到钻杆的坐标框的面积。使均方误差最小，各项系数的导数均应为0，可得：

通过求解式(4)，可求出多项式各项系数a_k,从而得到拟合的n阶多项式g(n)，即为平滑后的钻杆的相对大小曲线。

S6、二值化平滑处理的钻杆的相对大小的实时曲线，得到图像中钻杆的编码二值曲线。根据二值化后钻杆的相对大小曲线，统计矩形波形个数既可实现钻杆智能计数。平滑处理的钻杆的相对大小曲线的二值化采用自适应法，具体计算如下：

公式(5)中，G′(a)是二值化后的钻杆的相对大小曲线，A是检测到的钻杆的相对大小的集合。

需要说明的是，本发明提出的瓦斯抽采钻杆智能计数方法是由计算机视觉所驱动，具体是由目标检测结合信号处理实现钻杆智能计数。

在具体实现中，本发明能实现瓦斯抽采钻杆准确快速计数，下面以实际案例仿真说明实施方案的有效性。

采集煤矿井下瓦斯抽采钻杆全过程视频，通过利用中值滤波去噪法提高视频图像质量；

利用开源目标检测软件labelme获得图像钻杆的坐标矿，共标注1082张瓦斯抽采钻杆图像，按14：3：3划分为训练集、验证集和测试集；

在实例中，目标检测模型采用YOLOx，图像分辨率设为512×512，共训练 200个回合，训练批大小为8，训练过程中的验证集损失曲线如附图3所示；

将训练好的钻杆检测模型在测试集上检测，结果展示如附图4所示，随着钻杆的钻进，钻杆的坐标框的面积是减少的，基于此规律，本发明提出计算机视觉驱动的钻杆智能计数；

将一段钻杆视频输入训练好的钻杆检测视频，并记录检测到的钻杆的坐标框的面积(钻杆的相对大小)，其面积曲线如附图5所示；

由于工人的加装钻杆，视频中检测到的钻杆坐标框的面积的大小并不是连续的平滑曲线，因此，本发明提出利用信号处理技术处理钻杆的相对大小的实时曲线，结果如附图6所示；

获得视频中钻杆的坐标框的面积的平滑曲线，将其二值化，如附图7所示；二值化后可直接实现钻杆的智能计数，根据附图7可知测试视频中，完整打钻数目为9，计数结果与实际打钻数目一致。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (1)

1.一种计算机视觉驱动的钻杆智能计数方法，其特征在于，利用监控设备获得打钻过程的实时视频，基于目标检测每帧视频图像中的钻杆，根据检测到的钻杆实时记录检测到的钻杆相对大小，通过信号处理钻杆相对大小曲线，进而实现钻杆的智能计数钻杆数目；

具体包括以下步骤：S1、利用摄像设备获得钻杆钻孔全过程视频图像，基于图像增强技术，获得钻杆钻孔的高质量视频；S2、基于高质量视频建立钻杆钻孔图像数据集，标注每张图像中钻杆，将标注好的数据集划分为训练集、验证集和测试集；S3、构建适用于复杂环境中成像图像的钻杆检测深度学习模型，将建立的数据集用于构建的深度学习模型训练，保存最优权重；S4、将钻杆钻孔的实时视频图像输入训练好的轻量化目标检测模型，获得每帧视频图像中钻杆的坐标框，根据钻杆坐标框的面积，实时记录钻杆的相对大小；S5、利用信号处理技术处理钻杆的相对大小的实时曲线，获得平滑的钻杆大小实时曲线；S6、二值化平滑处理的钻杆的相对大小的实时曲线，得到图像中钻杆的编码二值曲线；根据二值化后钻杆的相对大小曲线，统计波形中矩形框个数既可实现钻杆智能计数；

所述步骤S步骤图像数据集和图像的标注具体如下：首先，利用OPENCV获得钻杆钻进过程视频图像，在图像采集过程时，每秒最多保存1张图片；其次，利用开源目标检测标注软件，标注每一张图像中的钻杆坐标框[x1,y1,x2,y2]；其中，x1和y1是钻杆在图像中的左上的坐标，x2和y2是钻杆在图像中的右下坐标；最后，将标注好的数据按14：3：3划分为训练集、验证集和测试集；

所述步骤S3中的检测模型的建立和训练包括如下：为实现视频中钻杆实时检测，钻杆检测模型采用一阶段深度学习目标检测架构，网络架构包括用于图像中钻杆特征学习的主干网络、用于图像中钻杆坐标框回归和标签映射的头部网络以及将主干网络和头部网络相连的颈部网络；所述的主干网络包括多个卷积操作、批归一化操作、非线性映射和池化操作，网络的连接方式采用前向多支路短路连接；所述的主干网络可根据场景和任务需求定制化设计，采用灵活的多选择的网络架构；其中，卷积操作可包括经典卷积、可分离卷积和空洞卷积；非线性映射可选用Sigmoid函数、ReLu函数、PReLU函数、Leakyrelu函数和ELU函数，池化操作可用平均池化或最大池化；所述的头部网络采用多尺度解耦头部，在输出通道将分类任务和坐标回归任务解耦分离，实现分别映射，在多种特征尺度上检测钻杆；所述的颈部网络用于将主干网络学习获得的多尺度特征融合，然后将融合的多尺度特征桥接于头部网络；所述的最优权重的是通过监视验证集损失，当验证集损失最小时，保存模型的权重；

所述的检测模型的建立，可以是一阶段深度学习目标检测架构，也可以是经典开源深度学习目标检测模型；

所述步骤S4中的钻杆坐标框的面积的计算如下：a＝|(x′2-x′1)×(y′2-y′1)|(1)

公式(1)中，s是检测到钻杆的坐标框的面积，(x′1,y′1)是视频中检测到的钻杆的左上坐标，(x′2,y′2)是视频中检测到的钻杆的右下坐标；

所述步骤S5中的钻杆的相对大小曲线的处理通过局部最小二乘多项式近似进行拟合，从而去除噪声；滤波后的数据在去除噪声的同时保持相同的信号结构；钻杆的相对大小曲线最小二乘法拟合的窗口内2m+1个离散数据进行，假设连续数据ai,i∈[-m,m],它的n阶拟合多项式为：

式(2)中，b为多项式的系数，i为权数，k为阶数，g为关于n阶的多项式函数；原始数据与拟合的多项式间的均方误差为，

公式(3)中，是检测到钻杆的坐标框的面积；使均方误差最小，各项系数的导数均应为0，可得：

通过求解式(4)，可求出多项式各项系数,从而得到拟合的n阶多项式g(n)，即为平滑后的钻杆的相对大小曲线；

所述步骤S6中平滑处理的钻杆的相对大小曲线的二值化采用自适应法，具体计算如下：

公式(5)中，G′(a)是二值化后的钻杆的相对大小曲线，A是检测到的钻杆的相对大小的集合。