CN114821453B - 基于目标检测的煤矿钻杆计数方法及计算机可读介质 - Google Patents

Abstract

本发明公开了基于目标检测的煤矿钻杆计数方法及计算机可读介质，所述计数方法包括以下步骤：对采集的图像进行预处理；钻杆为非激活状态时，则检测网络对输入图像进行检测钻机动力头和工人，得到钻机动力头检测框和工人检测框；若对应检测框未被遮挡的情况下，分别进行钻机动力头钻杆判断和工人钻杆判断；根据钻机动力头钻杆判断和工人钻杆判断的结果，进行钻杆数量统计。该发明能够解决当出现强光，钻杆工人的不可控行为，钻机及工人遮挡，钻机异常中断所导致的钻杆统计不正确问题。

Description

基于目标检测的煤矿钻杆计数方法及计算机可读介质

技术领域

本发明涉及矿井钻杆计数领域，基于目标检测的煤矿钻杆计数方法及计算机可读介质。

背景技术

煤矿的形成过程往往会产生瓦斯气体，若不进行处理直接采集煤矿易导致瓦斯泄漏，从而导致工人缺氧窒息，严重可导致爆炸，危害工人的生命安全。为了减少事故的发生，煤矿井下采煤之前需进行打钻，通过钻孔将煤层或开采区内的瓦斯气体抽除至地面，以保证矿井作业的安全进行。

在钻杆作业时，若要求工人还进行钻杆统计钻杆数量，进行易导致工人疲劳和钻杆统计不够精准，在该领域逐渐采用计算机视觉和深度学习的方法来替代人工统计，在深度学习和煤矿钻杆结合方面，目前主流的方式是检测法，分类法，检测分类结合法，具体的钻杆统计还需要结合一些不同的判断逻辑来实现，相关专利如下：

1.中国专利(CN113344882A)公布了基于计算机视觉的矿下钻机钻杆计数方法，该专利采用对钻杆检测、跟踪和分类的方法进行钻杆计数，包括以下步骤：

第一步：将钻杆图像划分为两种数据并进行数据增强，两种数据分别作为训练检测器的网络和训练重识别(跟踪和分类)的网络输入。

第二步：将高斯白噪声加入图像中，模拟二氧化硅和粉尘的效果。

第三步：将输入图像输至Darknet得到检测目标。

第四步：采用卡尔曼滤波和匈牙利算法对检测目标进行跟踪。

第五步：将检测到的钻杆图像输入分类器，分类器进行角度的180分类，得到场景下的钻杆角度值θ。

第六步：当目标脱离钻机监测区域且钻杆角度出现大于阈值的变化时，视为退钻过程，退钻计数器加一，进钻计数器减一。当目标从变化中的角度转化成相对固定的角度值且在检测区相对稳定时，视为进钻过程，退钻计数器减一，进钻计数器加一。

该专利将样本图像读入后锁定为一个416*416的图像，图像包括三个尺度，分别将图像切割成13*13，26*26，52*52个区域，每个区域经过Darknet网络。其采集图像为5000张，经过数据增强后为50000张，70%用于训练，15%用于验证，15%用于测试。在分类方面，将图像分为180个类别从0°到179°的钻杆状态，其中80%用作训练集，20%用作测试集。

该专利存在以下缺点：

缺点一：钻杆目标通常较小，仅适用于钻杆较大等特殊场景中，面对通用场景，在1080P的图像中，钻杆在整个图像中像素占比较小，不利于检测，目前针对小目标检测的改善方式为增加数据集和将算法输入的图像扩大，前种方式增加训练成本，后种方式增加硬件成本。

缺点二：分类网络以钻杆的角度分为180类，算法训练时，需要人工去定义类别，钻杆在图像上的1°偏移是很难以人眼判断，标记成本高昂，且180个类别每个类别都需要足够的数据，最终数据量庞大增加训练成本。

缺点三：没有针对钻杆被遮挡的可能性做出补救措施。

2.中国专利(CN111598042A)公开了一种基于机器视觉的煤矿井下打钻数量统计方法，该专利采用检测方法，检测钻机动力头并统计运动周期进行计数，包括以下步骤：

第一步：对采集的井下防突打钻过程视频进行分帧。

第二步：对图像进行清晰度提升处理。

第三步：识别经清晰度提升处理后得到的图像中钻机动力头的位置。

第四步：追踪钻机动力头的位置信息，识别其运动周期。

第五步：根据钻机动力头的运动周期进行钻杆计数。

第六步：根据人工计数反馈结果修正模型，或将历史监控视频输入模型中用以训练。

该专利将检测到的钻机动力头的中心点像素位置作为动力头的位置，一个钻机动力头运动周期为时间‐位置曲线中相邻峰的间距，该间距通过调用SciPy库中find_peaks函数找到峰的位置，再进行一阶差分得到峰间距。

该专利存在以下缺点：

缺点一：仅做了清晰处理没做强光过滤处理，当强光照射钻机动力头会导致无法检测钻机动力头。

缺点二：没有对钻机动力头异常中断做出补救措施，当钻机钻到坚硬岩层出现中断以及进行回退调整角度时，该专利的判断逻辑会出现额外的波峰，导致多统计，根据该专利文中阐述算法统计比实际统计多了5根。

缺点三：当钻机动力头被来往的工人遮挡时，导致检测框的大小，宽高比变化，严重导致检测框漂移，从而导致统计的钻机动力头位置不准确，该专利没有预防措施。

3.中国专利(CN111598042A)公开了一种用于井下钻杆计数的视觉统计方法，该专利采用分类网络对图像进行二分类来进行钻杆计数，包括以下步骤：

第一步：建立二分类的数据集，并进行数据增强，归一化处理。

第二步：将图像输入至自适应学习率ResNet50网络进行训练得到分类器。

第三步：输入卸杆视频通过分类器得到每一帧图像类别及其的置信度百分比，并将置信度百分比由图像时间序列储存至CSV文件。

第四步：当所有图像经过分类器后，将CSV文件中所有非卸杆类结果置信度置零，同时对卸杆类结果运用积分法对置信度进行滤波转为0、1信号。

第五步：通过统计0、1信号下降沿，滤波数据由1变为0，则统计钻杆数量。

该专利的二分类为卸钻杆类别与非卸钻杆类别，总数据量不小于2000张，在进行0、1信号转换时，采用连续5帧进行转换，若满足条件则该5帧均至为信号1或者0。并且在统计钻杆数量是，设置参数C，统计钻杆数量，设置参数C，若两个下降沿之间帧数数量小于参数C，则对钻杆数量减一，反之若大于参数C，则依照原有统计方法统计钻杆数量，通过这个逻辑减少信号误判，漏判带来的隐患。

该专利存在以下缺点：

缺点一：直接对原视频帧进行分类，该数据采集像素不低于200万，而该专利将原视频帧图像归一化为224*224大小图像，导致影响分类的关键特征，如工人的行为，钻机动力头的运动在图像中非常小，从而影响分类的准确性。

缺点二：由于对整张图像进行分类，很容易受到背景无关信息的干扰，当换个场景进行钻杆时，可能分类性能下降严重，尽管可采用扩充数据的多样性，但这增加了数据收集成本，以及随着数据增加后的训练成本。

缺点三：将一次视频的结果保存至CSV文件后再进行统计钻杆计数，无法做到实时性。

上述专利的缺点主要集中为没考虑现场环境干扰导致的钻杆统计不准确的问题，以及算法检测或者分类目标不具有针对性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供基于目标检测的煤矿钻杆计数方法，能够解决当出现强光，钻杆工人的不可控行为，钻机及工人遮挡，钻机异常中断所导致的钻杆统计不正确问题。

本发明的目的通过以下的技术方案实现：

基于目标检测的煤矿钻杆计数方法，包括以下步骤：

S1、对采集的图像进行预处理；

S2、判断钻杆状态是否激活：

若是，则等待A帧后将钻杆状态置为非激活，并跳转至步骤S1；

若否，则检测网络对输入图像进行检测钻机动力头和工人，得到钻机动力头检测框和工人检测框，并跳转至步骤S3；

S3、判断对应检测框是否遮挡：

若钻机动力头检测框和工人检测框均遮挡，则跳过该帧，检测网络对下一帧图像进行检测钻机动力头和工人；

若钻机动力头检测框未被遮挡，进行钻机动力头钻杆判断：钻机动力头的移动距离与钻机动力头所能移动的最大距离的比值大于设定阈值时，判断完成一次钻杆，且钻杆状态设置为激活；

若工人检测框未被遮挡，进行工人钻杆判断：对检测到的工人图像，进行归一化处理，输至分类模型得到每帧的工人钻杆分类结果，该分类分为钻杆和非钻杆两类；钻杆类图像为工人双手持钻杆，并将钻杆钻进主钻杆中，而非钻杆类图像工人双手并不持有钻杆，且通常双手自然下放或叉腰，两类图像具有明显的类间差异；当连续B帧内出现b帧的结果分类为钻杆(即b帧图像被分类算法分为钻杆类)，且b<B，则判断完成一次钻杆，且钻杆状态设置为激活；

S4、根据钻机动力头钻杆判断和工人钻杆判断的结果，进行钻杆数量统计。

步骤S3中，所述进行钻机动力头钻杆判断，包括以下步骤：

通过目标检测获得钻机动力头的中心点坐标(x,y)，先控制钻机动力头移动其所能移动的最左边和最右边，将其最右边和最左边x数值的差值，计为钻机动力头所能移动的最大距离D；

钻机动力头开始移动，x数值开始不断变化，当工人进行钻杆时，电机动力头移动至右边等待工人进行换杆，钻杆被成功安置在钻机动力头后，电机动力头带动钻杆往左边移动，将其钻入岩层；因此一次钻杆周期内，x数值变化应该是逐渐减小，设置一个存入多个数的数组，实时将每一帧的x数值存入该数组中，并每有新的一帧传入时，丢弃最早存入的x数值并存入新一帧的x数值；计算该数组的最早x数值和最新x数值的差值d，作为钻机的实时移动距离，计算距离比值d/D，当距离比值大于设定阈值时，判断完成一次钻杆，且钻杆状态设置为激活。

步骤S3中，所述钻机动力头检测框若持续多帧被遮挡，则通过钻机动力头坐标的方差和变化趋势过滤漂移检测框。

所述通过钻机动力头坐标的方差和变化趋势过滤漂移检测框，包括以下步骤：

通过目标检测获得钻机动力头的中心点坐标(x,y)，当出现强光照射导致钻机动力漂移时，通过计算连续数帧内y数值的方差来过滤那些上下漂移的检测框，通过计算x数值的变化趋势过滤水平漂移的检测框；

当连续M帧出现检测框漂移或者连续N帧检测框不存在时，则该钻杆周期内钻机动力头不作为钻杆统计的判断依据，M、N为预设值。

步骤S3中，所述进行工人钻杆判断，还包括对工人钻杆分类的工人不可控行为导致的误判进行过滤，具体包含以下步骤：

当工人图像分为钻杆类时，对分类钻杆类的工人图像进行反光条定位，反光条颜色为白色，对工人图像逐行提取像素值，若某行的像素值接近白色的像素值，则该行处于图像中的白色反光条部分，从而获得反光条在图像中的宽高，以及坐标信息；

根据反光条在图像中的宽高和坐标信息，定位工人的腋窝区域，抠出两个腋窝的方形区域，计算该区域的像素值和工人背部/正面的像素值的相似性；

当工人进行钻杆操作，双手托杆，两边的腋窝部分镂空，此时两边的腋窝区域为背景，与工人衣服出像素值相似度低于预设值，保持钻杆类的结果；而工人非钻杆时，两边的腋窝部分同时镂空的情况很少，两边腋窝区域同时与衣服背部/正面像素值相似度低于预设值的条件无法满足，将该帧的分类结果纠正为非钻杆。

步骤S4中，所述进行钻杆数量统计的判断逻辑如下：当钻机动力头和工人均未被遮挡，或者工人被遮挡时，以钻机动力头的钻杆逻辑判断为最终的钻杆计数结果，当钻机动力头被遮挡时，以工人钻杆的逻辑判断作为最终的钻杆计数结果。设定的判断逻辑不唯一，也可以要求钻机动力头和工人同时没被遮挡才生效，这样计数更加准确。

所述基于目标检测的煤矿钻杆计数方法，还包括钻杆等待机制，该机制包括以下步骤：

当钻杆状态设置为激活后，等待A帧后再进行钻杆判断，即经过A帧后将钻杆状态置为非激活，A帧的大小为一次钻杆状态从激活转变为非激活所等待的最小帧数。

步骤S1中，所述预处理包括对图像光晕进行过滤、对图像中的尘雾进行过滤、对图像整体进行伽马校正。

步骤S2中，所述检测网络对输入图像进行检测钻机动力头和工人，得到钻机动力头检测框和工人检测框，包括以下步骤：

检测网络的输入图像经过YOLOv5检测算法模型推理后可得到三个特征图信息，再经过非极大值抑制后可得到一些候选框，通过检测的概率值再对候选框进行过滤，得到钻机动力头检测框和钻杆工人检测框；其中钻机动力头的检测目标获取其中心点信息，而工人的检测目标获取其图像信息。

所述图像是通过摄像机采集的，摄像机和钻机动力头保持水平，距离控制为钻机动力头移动范围和工人钻杆操作区域分别位于图像的两边的半部区域。

本发明与现有技术相比，具有如下优点和有益效果：

1、在检测目标方面，本发明检测的目标为钻机动力头和工人。钻机动力头移动范围固定，在图像画面中属于巨大的目标，明显区别于其他目标，因此钻机动力头非常易于检测，又由于钻机动力头移动周期和钻杆操作息息相关，对钻杆计数而言有很好的针对性。在钻杆期间，工人活动范围固定，且工人检测框在图像中为竖直矩形，这种高宽比的检测目标在井下钻杆中极少，基本可以确定为人，并且每次钻杆都需要工人进行操作，对钻杆计数而言有很好的针对性。

2、在分类目标方面，本发明对目标检测中的工人动作进行分类，由于分类的图像不是整张图像而是图像中的工人目标，无论场景如何变化，通过检测获得的图像始终是工人图像，滤除了与工人无关的图像信息，因此分类算法可不必受到无关信息的干扰，并且工人的动作只有两个类别，钻杆和非钻杆，有利于标记和训练。

3、本发明为了避免现场干扰对钻杆计数的影响，采用四个方式：

1)本发明计算连续帧内钻机动力头的y坐标方差来过滤强光干扰导致的检测框飘移。

2)本发明采用像素相似度度量纠正在钻杆工人非钻杆的不可控行为时所导致分类器将其分类为钻杆类。

3)本发明计算钻机动力头连续帧内的x坐标变化趋势（增大还是减小）以及方差值（钻机动力头停下时方差极小）来避免因钻机动力头的异常导致的钻杆统计不准确。

4)针对不可避免的遮挡，本发明视频画面仅有钻机和工人，当遮挡出现在钻机区域可通过工人钻杆分类进行钻杆计数，当工人被遮挡时可计算钻机动力头移动比值进行钻杆计数，而二者均被遮挡时，画面将处于完全遮挡状态。该情况极少。

附图说明

图1为本发明所述基于目标检测的煤矿钻杆计数方法的流程图。

图2为钻机动力头钻杆判断的流程图。

图3为工人钻杆判断的流程图。

图4为钻杆工人非钻杆图。

图5为钻杆工人钻杆图。

图6为工人和钻机动力头的识别效果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1至6，基于目标检测的煤矿钻杆计数方法，包括以下步骤：

第一步：进行图像采集并预处理。

摄像机和钻机动力头保持水平，距离控制为钻机动力头移动范围和工人钻杆操作区域分别位于图像的两边的半部区域。如本实施例测试的视频中，钻机处于图像左边区域而工人操作范围为图像右边区域。

现场钻杆环境为井下，工人头部安全帽配置戴维灯该等对摄像机采集的图像造成很大的光污染，需要对光晕进行过滤；在钻孔过程可能会导致尘土飞扬。导致图像有干扰，需对图像中的尘雾进行过滤；由于图像整体较暗，需进行伽马校正。

第二步：对钻机动力头和钻杆工人进行目标检测。

当钻杆状态为非激活时，对输入图像进行目标检测，由于钻机动力头移动区域固定，目标大，属于易检测的目标，并且在钻杆作业期间，工人很少进入钻机动力头移动的区域，因此，在检测过程中钻机动力头被遮挡的可能性较小。

而钻杆工人检测，钻杆工人在钻杆时，通常会在一个固定的区域活动，钻杆工人被遮挡的可能性来自其他钻杆工人，不过行人检测已经非常成熟，对于行人遮挡具有很好的抗干扰性。

该网络的输入图像为640*640，经过算法模型推理后可得到三个特征图信息，再经过非极大值抑制后可得到一些候选框，通过检测的概率值再对候选框进行过滤，得到钻机动力头检测框和钻杆工人检测框。其中钻机动力头的检测目标获取其中心点信息而工人的检测目标获取其图像信息。

第三步：如图2，钻机动力头检测框未被遮挡时，通过钻机动力头的移动距离比值判断是否钻杆。

通过目标检测获得钻机动力头的中心点坐标(x,y)，先控制钻机动力头移动其所能移动的最左边和最右边，考虑坐标值的轻微晃动，取钻机动力头移动边缘的连续12帧坐标值，对连续12帧中最大值和最小值去除，分别取剩下10个数值的平均值作为钻机动力头所能移动的最左边和最右边的坐标x数值。计算最右边和最左边x数值的差值，计为钻机动力头所能移动的最大距离D。

开始进行钻杆统计，在钻机动力头没被遮挡的情况下，钻机动力头开始移动，x数值开始不断变化，当工人进行钻杆时，电机动力头移动至右边等待工人进行换杆，钻杆被成功安置在钻机动力头后，电机动力头带动钻杆往左边移动，将其钻入岩层。因此一次钻杆周期内(一次钻杆周期指的是工人将钻杆钻入钻机中，钻机动力头将钻杆钻入岩层并回退到最右边的时间，当这个时间最短时，所需要传入的图像帧数即为钻杆等待帧A)，x数值变化应该是逐渐减小，设置一个可存入一百多个数的数组，实时将每一帧的x数值存入该数组中，并每有新的一帧传入时，丢弃最早存入的x数值并存入新一帧的x数值。计算该数组的最早x数值和最新x数值的差值d，作为钻机的实时移动距离，计算距离比值d/D，当距离比值大于设定阈值时，钻杆状态置为激活。

第四步：若持续多帧钻机动力头被遮挡，则通过钻机动力头坐标的方差和变化趋势过滤漂移检测框。

钻孔过程中钻机动力头为水平移动，因此x数值在不断变化且变换较平缓，而y数值基本固定。当出现强光照射导致钻机动力漂移时，可通过计算连续数帧内y数值的方差来过滤那些上下漂移的检测框，通过计算x数值的变化趋势过滤水平漂移的检测框。当连续几十帧出现检测框漂移或者连续几十帧检测框不存在(即被持续遮挡)时，则该钻杆周期内钻机动力头不作为钻杆统计的判断依据。

第五步：如图3，工人检测框未被遮挡时，通过对工人动作进行分类判断是否钻杆。

通过目标检测可获得工人的检测框信息，如中心点和检测框的宽高，但该中心点和检测框的宽高是基于640*640图像的尺度，因此需要将中心点和检测框的宽高投射至预处理后原图的尺度，并根据中心点位置和宽高信息将工人的图像截取出来，保证了输至分类网络中的图像清晰，无其他无关的图像信息。

当成功检测到工人图像，对截取出来的工人图像进行归一化处理，输至分类模型得到每帧的工人钻杆分类结果，该分类分为钻杆和非钻杆两类。钻杆类图像为工人双手持钻杆，并将钻杆钻进主钻杆中，而非钻杆类图像工人双手并不持有钻杆，且通常双手自然下放或叉腰，两类图像具有明显的类间差异。当连续B帧内出现b帧的结果(b<B)分类为钻杆，则将钻杆状态置为激活。

第六步：对工人钻杆分类的工人不可控行为导致的误判过滤。

通常来说，工人在安置钻杆时，双手需要托杆，并将其扭进钻机动力头中，这个动作工人的双手始终向上托着，且每次钻杆工人的动作一致，而非钻杆时，工人会处于站立（常见），靠墙（少见），叉腰（少见）。因为少见的非钻杆动作由于其样本容量少导致分类时易分为钻杆，从而导致钻杆统计时出现多计的可能性。为此，本发明针对分类钻杆类的工人图像进一步处理。

当分为钻杆类时，分类钻杆类的图像进行反光条定位，反光条颜色为白色，对工人图像逐行提取像素值，若某行的像素值接近白色的像素值，则该行处于图像中的白色反光条部分，从而获得反光条在图像中的宽高，以及坐标信息。

根据反光条的宽高和坐标信息，定位工人的腋窝区域，抠出两个腋窝的方形区域，计算该区域的像素值和工人背部/正面的像素值的相似性。

当工人进行钻杆操作，双手托杆，两边的腋窝部分镂空，此时两边的腋窝区域为背景，与工人衣服出像素值相似度较低，保持钻杆类的结果；而工人非钻杆时，两边的腋窝部分同时镂空的情况很少，两边腋窝区域同时与衣服背部/正面像素值相似度低的条件无法满足，将该帧的分类结果纠正为非钻杆。

第七步：通过钻杆等待机制提升钻杆统计的正确性及优化算法时间。

钻杆状态激活后，对于钻机动力头判断而言，需要等待钻机回退，以及等待工人将钻杆安置在钻机动力头中；对工人钻杆判断而言，需等待钻机将钻钻入岩土中。以上两个过程必定为非钻杆，且该等待的时间通常固定，因此设置一个等待帧机制，当钻杆状态激活后需等待A帧后再进行钻杆判断，即经过A帧后将钻杆状态置为非激活，一方面避免多计，另一方面节省了时间，使算法处理更快，A帧的大小为一次钻杆状态激活从非激活转变所等待的最小帧数。

第八步：综合两种钻杆统计方法进一步减少漏计问题。

通过第三步钻机动力头钻杆判断方法和第五步的工人钻杆判断方法进行最终的钻杆统计，只要二者的判断逻辑导致钻杆状态激活，则进行钻杆数量统计，这种综合两个钻杆统计方式可以有效地避免漏计现象。

本实施例具有以下优点：

1.采用钻机移动距离比值判断钻杆。该方式统计一百多帧中的移动距离比值，相较于钻机动力头的移动波峰判断，即使出现短暂的反方向移动也不会被误判为钻杆。

2.通过钻机动力头的坐标方差和移动趋势来过滤一些因遮挡，强光照射导致的检测框漂移。目前的专利没有针对钻机动力头被遮挡和强光照射导致检测框漂移的过滤措施。

3.工人钻杆分类的工人不可控行为导致的误判过滤。目前采用分类算法作为钻杆统计的主要判断机制的专利没有针对工人在非钻杆时除站立之外的动作进行过滤。

4.两种钻杆统计判断方法结合以及钻杆等待机制。目前大多数钻杆统计专利采用一种钻杆统计方法，针对煤矿需求的高精度高安全性，可能无法满足；钻杆等待机制避免钻杆统计时多计入钻杆，现有专利暂时没有类似的机制。

5、检测目标具有易识别和易检测的特点，如钻机动力头和钻杆工人目标大小较大，检测框的形状区别于其他目标。

6、分类对象具有类别易定义易分类的特点，分类的类别仅有两个类别，两个类别的类间差异较大，且无多于的无关信息，减少分类错误的可能性。

7、对钻机动力头受到内因（钻机钻坚硬岩层的暂停和回退）或者外因（遮挡，强光照射）的干扰具有较好的抗性。本发明通过钻机动力头采用移动距离比值以及钻机动力头的坐标方差和移动趋势来避免这些干扰对钻杆统计的影响。

8、对工人非钻杆时的不可控行为有较好的识别性。本发明通过钻杆分类引入像素值相似度度量来过滤那些误分为钻杆类的结果。

9、算法速度较快且较少钻杆统计多计现象。本发明通过钻杆等待机制来实现。

10、减少钻杆统计漏计现象。通过两种钻杆统计方法的综合结果进行钻杆统计，有效避免其中一种方法无法进行钻杆统计所导致的漏计。

本领域技术人员可以理解的是，实施例中的全部或部分步骤，可以通过计算机程序来指令相关的硬件实现，该程序可以存储于计算机可读介质中，可读介质可以包括闪存盘、移动硬盘、只读存储器、随机存取器、磁盘或光盘等各种可以存储程序代码的介质。在一个实施例中，公开提出了一种计算机可读介质，所述计算机可读介质中存储有计算机程序，所述计算机程序由处理模块加载并执行以实现基于目标检测的煤矿钻杆计数方法。

在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本公开揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。

另外，多数实施例的描述是基于不同的重点而展开的，未详述之处，可参见现有技术的内容或本文的其他相关描述进行理解。

再次强调，上文所列举的实施例，为本公开较为典型的、较佳实施例，仅用于详细说明、解释本公开的技术方案，以便于读者理解，并不用以限制本公开的保护范围或者应用。在本公开的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本公开的保护范围之内。

Claims (11)

1.基于目标检测的煤矿钻杆计数方法，其特征在于，包括以下步骤：

S1、对采集的图像进行预处理；

S2、判断钻杆状态是否激活：

若是，则等待A帧后将钻杆状态置为非激活，并跳转至步骤S1；

若否，则检测网络对输入图像进行检测钻机动力头和工人，得到钻机动力头检测框和工人检测框，并跳转至步骤S3；

S3、判断对应检测框是否遮挡：

若钻机动力头检测框和工人检测框均遮挡，则跳过该帧，检测网络对下一帧图像进行检测钻机动力头和工人；

若钻机动力头检测框未被遮挡，进行钻机动力头钻杆判断：钻机动力头的移动距离与钻机动力头所能移动的最大距离的比值大于设定阈值时，判断完成一次钻杆，且钻杆状态设置为激活；

若工人检测框未被遮挡，进行工人钻杆判断：对检测到的工人图像，进行归一化处理，输至分类模型得到每帧的工人钻杆分类结果，该分类分为钻杆和非钻杆两类；钻杆类图像为工人双手持钻杆，并将钻杆钻进主钻杆中，而非钻杆类图像工人双手并不持有钻杆，且双手自然下放或叉腰，两类图像具有明显的类间差异；当连续B帧内出现b帧的结果分类为钻杆，且b<B，则判断完成一次钻杆，且钻杆状态设置为激活；

S4、根据钻机动力头钻杆判断和工人钻杆判断的结果，进行钻杆数量统计。

2.根据权利要求1所述基于目标检测的煤矿钻杆计数方法，其特征在于，步骤S3中，所述进行钻机动力头钻杆判断，包括以下步骤：

通过目标检测获得钻机动力头的中心点坐标(x,y)，先控制钻机动力头移动其所能移动的最左边和最右边，将其最右边和最左边x数值的差值，计为钻机动力头所能移动的最大距离D；

钻机动力头开始移动，x数值开始不断变化，当工人进行钻杆时，电机动力头移动至右边等待工人进行换杆，钻杆被成功安置在钻机动力头后，电机动力头带动钻杆往左边移动，将其钻入岩层；因此一次钻杆周期内，x数值逐渐减小，设置一个存入多个数的数组，实时将每一帧的x数值存入该数组中，并每有新的一帧传入时，丢弃最早存入的x数值并存入新一帧的x数值；计算该数组的最早x数值和最新x数值的差值d，作为钻机的实时移动距离，计算距离比值d/D，当距离比值大于设定阈值时，判断完成一次钻杆，且钻杆状态设置为激活。

3.根据权利要求1所述基于目标检测的煤矿钻杆计数方法，其特征在于，步骤S3中，所述钻机动力头检测框若持续多帧被遮挡，则通过钻机动力头坐标的方差和变化趋势过滤漂移检测框。

4.根据权利要求3所述基于目标检测的煤矿钻杆计数方法，其特征在于，所述通过钻机动力头坐标的方差和变化趋势过滤漂移检测框，包括以下步骤：

通过目标检测获得钻机动力头的中心点坐标(x,y)，当出现强光照射导致钻机动力漂移时，通过计算连续数帧内y数值的方差来过滤那些上下漂移的检测框，通过计算x数值的变化趋势过滤水平漂移的检测框；

当连续M帧出现检测框漂移或者连续N帧检测框不存在时，则该钻杆周期内钻机动力头不作为钻杆统计的判断依据，M、N为预设值。

5.根据权利要求1所述基于目标检测的煤矿钻杆计数方法，其特征在于，步骤S3中，所述进行工人钻杆判断，还包括对工人钻杆分类的工人不可控行为导致的误判进行过滤，具体包含以下步骤：

当工人图像分为钻杆类时，对分类钻杆类的工人图像进行反光条定位，反光条颜色为白色，对工人图像逐行提取像素值，若某行的像素值接近白色的像素值，则该行处于图像中的白色反光条部分，从而获得反光条在图像中的宽高，以及坐标信息；

根据反光条在图像中的宽高和坐标信息，定位工人的腋窝区域，抠出两个腋窝的方形区域，计算该区域的像素值和工人背部/正面的像素值的相似性；

当腋窝区域与工人衣服处像素值相似度低于预设值，保持钻杆类的结果；当腋窝区域与工人衣服处像素值相似度不低于预设值，将该帧的分类结果纠正为非钻杆。

6.根据权利要求1所述基于目标检测的煤矿钻杆计数方法，其特征在于，步骤S4中，所述进行钻杆数量统计的判断逻辑如下：当钻机动力头和工人均未被遮挡，或者工人被遮挡时，以钻机动力头的钻杆逻辑判断为最终的钻杆计数结果，当钻机动力头被遮挡时，以工人钻杆的逻辑判断作为最终的钻杆计数结果。

7.根据权利要求1所述基于目标检测的煤矿钻杆计数方法，其特征在于，还包括钻杆等待机制，该机制包括以下步骤：

当钻杆状态设置为激活后，等待A帧后再进行钻杆判断，即经过A帧后将钻杆状态置为非激活，A帧的大小为一次钻杆状态从激活转变为非激活所等待的最小帧数。

8.根据权利要求1所述基于目标检测的煤矿钻杆计数方法，其特征在于，步骤S1中，所述预处理包括对图像光晕进行过滤、对图像中的尘雾进行过滤、对图像整体进行伽马校正。

9.根据权利要求1所述基于目标检测的煤矿钻杆计数方法，其特征在于，步骤S2中，所述检测网络对输入图像进行检测钻机动力头和工人，得到钻机动力头检测框和工人检测框，包括以下步骤：

检测网络的输入图像经过YOLOv5检测算法模型推理后可得到三个特征图信息，再经过非极大值抑制后可得到一些候选框，通过检测的概率值再对候选框进行过滤，得到钻机动力头检测框和钻杆工人检测框；其中钻机动力头的检测目标获取其中心点信息，而工人的检测目标获取其图像信息。

10.根据权利要求1所述基于目标检测的煤矿钻杆计数方法，其特征在于，所述图像是通过摄像机采集的，摄像机和钻机动力头保持水平，距离控制为钻机动力头移动范围和工人钻杆操作区域分别位于图像的两边的半部区域。

11.计算机可读介质，其特征在于：所述计算机可读介质中存储有计算机程序，所述计算机程序由处理模块加载并执行以实现如权利要求1至10任一所述基于目标检测的煤矿钻杆计数方法。

Images