CN115984762A - 一种基于计算机视觉算法的井下支护工序识别方法及系统 - Google Patents

Abstract

本发明是关于一种基于计算机视觉算法的井下支护工序识别方法及系统。该方法包括：采集井下支护作业区域的图像；通过训练后的目标检测算法从所述图像中提取钻机、钻顶信息；根据所述钻机、钻顶信息计算井下支护工序参数。本发明提供的技术方案，通过摄像机采集永久支护图像，通过目标检测算法提取钻机相关特征信息，结合永久支护动作规律，设计针对永久支护场景的参数计算。相对传统方法，可以很大程度上提高永久支护统计的实时性，提高统计精度，降低人力成本。此外，该方案无需对现有支护钻机做硬件改动，降低改造成本。本方案在永久支护场景下，具有针对性强，识别率高、泛化能力强等优点。

Description

一种基于计算机视觉算法的井下支护工序识别方法及系统

技术领域

本发明涉及计算机视觉及井下人员施工安全领域，尤其涉及一种基于计算机视觉算法的井下支护工序识别方法及系统。

背景技术

随着人工智能技术与5G技术的发展，人工智能在智能检测方向的应用越来越广泛，我国是能源大国，能源开采安全是业界高度重视的问题。支护作业属于掘进范围，为后续开采能源做铺垫。为了保证监管井下工人作业安全，防止井下出现墙壁坍塌现象，我们设计了基于计算机视觉的算法，对井下永久支护进行识别，在降低人力物力的同时，确保井下永久支护作业如期按照要求数量，深度完成。

目前永久支护数量、深度统计主要依靠人力监督，故此可能收到多种因素的影响，使得人员工作效率降低，或者出现误报、瞒报现象，造成永久支护质量不达标。

发明内容

为克服相关技术中存在的问题，本发明提供一种基于计算机视觉算法的井下支护工序识别方法及系统，通过现有的摄像机，通过目标检测算法提取打钻过程中钻机相关特征，结合打钻过程分析算法，实现针对永久支护作业场景的精准识别，在场景满足基本识别需求的前提下，算法准确率较高。

根据本发明实施例的第一方面，提供一种基于计算机视觉算法的井下支护工序识别方法，包括：

采集井下支护作业区域的图像；

通过训练后的目标检测算法从所述图像中提取钻机、钻顶信息；

根据所述钻机、钻顶信息计算井下支护工序参数。

进一步，根据所述钻机、钻顶信息计算井下支护工序参数，具体包括：

当首次识别到钻顶的置信度超过设定阈值时，记录当前时间向前推预设时长作为本次打钻的开始状态，并记录当前钻机的高度作为钻机上下运动的临界值；

当连续未识别到钻顶的帧数超过设定阈值，且钻机下降到上下运动的临界值以下时，记为本次打钻的结束状态，并记录一次打钻次数。

进一步，该方法还包括：

根据打钻开始后预设帧数内钻机的宽度和中心点坐标确定本次打钻过程中钻顶的运动范围。

进一步，根据所述钻机、钻顶信息计算井下支护工序参数，具体包括：

当在所述运动范围内，首次识别到钻顶的置信度超过设定阈值时，记录当前时间向前推预设时长作为本次打钻的开始状态，并记录当前钻机的高度作为钻机上下运动的临界值；

当在所述运动范围内，连续未识别到钻顶的帧数超过设定阈值，且钻机下降到上下运动的临界值以下时，记为本次打钻的结束状态，并记录一次打钻次数。

进一步，根据所述钻机、钻顶信息计算井下支护工序参数，具体包括：

当最后一次识别到钻顶的连续帧数或持续时长超过设定阈值时，根据此时记录的打钻次数计算打钻深度。

根据本发明实施例的第二方面，提供一种基于计算机视觉算法的井下支护工序识别系统，包括：

图像采集模块，用于采集井下支护作业区域的图像；

目标检测模块，用于通过训练后的目标检测算法从所述图像中提取钻机、钻顶信息；

参数计算模块，用于根据所述钻机、钻顶信息计算井下支护工序参数。

进一步，参数计算模块，具体包括：

第一计算单元，用于当首次识别到钻顶的置信度超过设定阈值时，记录当前时间向前推预设时长作为本次打钻的开始状态，并记录当前钻机的高度作为钻机上下运动的临界值，记录当前钻机和钻顶之间的距离；

第二计算单元，用于当连续未识别到钻顶的帧数超过设定阈值，且钻机下降到上下运动的临界值以下时，记为本次打钻的结束状态，并记录一次打钻次数。

进一步，该系统还包括：

范围确定模块，用于根据打钻开始后预设帧数内钻机的宽度和中心点坐标确定本次打钻过程中钻顶的运动范围。

进一步，所述第一计算模块，具体用于当在所述运动范围内，首次识别到钻顶的置信度超过设定阈值时，记录当前时间向前推预设时长作为本次打钻的开始状态，并记录当前钻机的高度作为钻机上下运动的临界值；

所述第二计算单元，具体用于当在所述运动范围内，连续未识别到钻顶的帧数超过设定阈值，且钻机下降到上下运动的临界值以下时，记为本次打钻的结束状态，并记录一次打钻次数。

进一步，参数计算模块，具体包括：

第三计算单元，用于当最后一次识别到钻顶的连续帧数或持续时长超过设定阈值时，根据此时记录的打钻次数计算打钻深度。

根据本发明实施例的第三方面，提供一种终端设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

根据本发明实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本发明的实施例提供的技术方案可以包括以下有益效果：

通过摄像机采集永久支护图像，通过目标检测算法提取钻机相关特征信息，结合永久支护动作规律，设计针对永久支护场景的参数计算。相对传统方法，可以很大程度上提高永久支护统计的实时性，提高统计精度，降低人力成本。此外，该方案无需对现有支护钻机做硬件改动，降低改造成本。本方案在永久支护场景下，具有针对性强，识别率高、泛化能力强等优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。

图1是根据本发明一示例性实施例示出的一种基于计算机视觉算法的井下支护工序识别方法的流程示意图；

图2是yolov3框架；

图3是现场特征点识别示例；

图4是永久支护流程框架图；

图5是根据本发明一示例性实施例示出的一种基于计算机视觉算法的井下支护工序识别系统的结构框图；

图6是根据本发明一示例性实施例示出的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本发明的技术方案用于对永久支护的工序进行识别，永久支护流程主要为打钻，上药，搅拌。打钻是将钻杆插入墙壁内部，内部产生孔洞后，将药卷送入孔内，最后搅拌药卷凝固，实现永久支护。

本发明涉及到的硬件设备有摄像机、GPU服务器等，其中摄像可以选择矿场现有网络摄像机，负责图像采集摄像机安装位置保证能够看到打钻过程、并且人员遮挡现象较少。GPU服务完成算法推理，放置于现场机房。

以下结合附图详细描述本发明实施例的技术方案。

图1是根据本发明一示例性实施例示出的一种基于计算机视觉算法的井下支护工序识别方法的流程示意图。

参见图1，该方法包括：

110、采集井下支护作业区域的图像。

120、通过训练后的目标检测算法从所述图像中提取钻机、钻顶信息。

具体的，目标检测算法可采用yolov3等现有算法实现，其具体的算法框架如图2所示。

本发明首先通过训练后的目标检测算法提取到钻机(以下用head表示)、钻顶(即钻杆的顶部，以下用top表示)特征信息，如图3所示，。

130、根据所述钻机、钻顶信息计算井下支护工序参数。

可选地，在该实施例中，步骤130具体包括：

1301、当首次识别到钻顶的置信度超过设定阈值时，记录当前时间向前推预设时长作为本次打钻的开始状态，并记录当前钻机的高度作为钻机上下运动的临界值。

1302、当连续未识别到钻顶的帧数超过设定阈值，且钻机下降到上下运动的临界值以下时，记为本次打钻的结束状态，并记录一次打钻次数。

具体的，在一个具体的实施例中，如图3所示，在进行永久支护动作时，操作人员首先持钻机将钻杆打入顶板，通过目标检测算法实施识别摄像机采集的画面中的钻顶信息，当识别到top信息的置信度超过设定阈值后，记录当前时间向前推10秒作为整个过程的开始时间。

由于每一次打钻时钻机均在一定范围内做往复运动，因此，通过记录当前head高度作为钻机上下运动的临界值，当top消失设定阈值帧数后，并且head下降到上下运动临界值以下时，说明本次打钻结束，完成了一次打钻。

当有了结束状态时，可进一步推出打钻的开始、结束时间，孔深度、孔坐标，最后可通过分析结果进行后续处理。

本发明实施例提供的一种基于计算机视觉算法的井下支护工序识别方法，通过过摄像机采集永久支护图像，通过目标检测算法提取钻机相关特征信息，结合永久支护动作规律，设计针对永久支护场景的参数计算。相对传统方法，可以很大程度上提高永久支护统计的实时性，提高统计精度，降低人力成本。此外，该方案无需对现有支护钻机做硬件改动，降低改造成本。本方案在永久支护场景下，具有针对性强，识别率高、泛化能力强等优点。

由于不同位置打钻时钻机的位置不同，为准确识别出不同位置的支护工序参数，本实施例中需要进一步根据钻机的位置确定每次打钻过程中钻顶的运动范围。可选地，在该实施例中，该方法包括：

210、采集井下支护作业区域的图像。

220、通过训练后的目标检测算法从所述图像中提取钻机、钻顶信息。

230、根据打钻开始后预设帧数内钻机的宽度和中心点坐标确定本次打钻过程中钻顶的运动范围。

240、根据所述钻机、钻顶信息计算井下支护工序参数。

具体的，记录每次打钻开始后m帧图像中钻机的识别框的宽度、高度和中心点坐标，即可进一步得到钻顶的x坐标的范围top_x须满足以下条件：

其中，hd_enterx表示m帧图像中钻机中心点x坐标平均值，hd_width表示m帧图像中钻机宽度平均值。

可选地，在该实施例中，步骤240具体包括：

2401、当在所述运动范围内，首次识别到钻顶的置信度超过设定阈值时，记录当前时间向前推预设时长作为本次打钻的开始状态，并记录当前钻机的高度作为钻机上下运动的临界值；

2402、当在所述运动范围内，连续未识别到钻顶的帧数超过设定阈值，且钻机下降到上下运动的临界值以下时，记为本次打钻的结束状态，并记录一次打钻次数。

具体的，如图4所示，当一个范围出现top时，判断是否在相同范围区间出现过top，若出现过则直接在原来的基础上进行判断，top超过一定阈值作为下一根的开始，top消失一定阈值并且head下降到临界值以下作为下一根的结束，但不更新head、top最小距离，往复循环；若不在范围内，则视为第一次出现top重新计算。

当一个区间内有了开始状态后，当head下降到上下运动临界值以下时，记为结束状态。

由于在搅拌工序时，钻顶会持续出现一段时间，基于该规律，可实现对搅拌过程的判定，并且可进一步实现对工序是否合格的判定。可选地，在该实施例中，步骤130具体包括：

1303、当最后一次识别到钻顶的连续帧数或持续时长超过设定阈值时，根据此时记录的打钻次数计算打钻深度。

具体的，在一个具体的实施例中，如图4所示，当最后一次top出现帧数大于设定的结束阈值，则判定该孔发生了搅拌过程，孔深度为往复动作次数-2。若一定时间内没有在这个范围内出现top，且上次top持续时间不足设定的结束阈值，则判定这个孔工序不合格，使用上次时间作为结束时间，孔深度为往复动作次数-1；若再出现top，则按照之前流程继续更新结束时间，往复循环。如下式所示。

dtir＝1  t_time≥end_threshold

stir＝0  t_time<nd_threshold

depth＝num-2stir＝1

depth＝num-1stir＝0

上式中，stir＝1表示是搅拌，否则没有搅拌，last_time表示最后一次出现top的持续时间，end_threshold表示设定结束持续阈值，depth表示孔深，num表示上下往复动作次数。

图5是根据本发明示例性实施例示出的一种基于计算机视觉算法的井下支护工序识别系统的结构框图。

参见图5，该系统包括：

图像采集模块，用于采集井下支护作业区域的图像；

目标检测模块，用于通过训练后的目标检测算法从所述图像中提取钻机、钻顶信息；

参数计算模块，用于根据所述钻机、钻顶信息计算井下支护工序参数。

可选地，在该实施例中，参数计算模块，具体包括：

第一计算单元，用于当首次识别到钻顶的置信度超过设定阈值时，记录当前时间向前推预设时长作为本次打钻的开始状态，并记录当前钻机的高度作为钻机上下运动的临界值，记录当前钻机和钻顶之间的距离；

第二计算单元，用于当连续未识别到钻顶的帧数超过设定阈值，且钻机下降到上下运动的临界值以下时，记为本次打钻的结束状态，并记录一次打钻次数。

可选地，在该实施例中，该系统还包括：

范围确定模块，用于根据打钻开始后预设帧数内钻机的宽度和中心点坐标确定本次打钻过程中钻顶的运动范围。

进一步，所述第一计算模块，具体用于当在所述运动范围内，首次识别到钻顶的置信度超过设定阈值时，记录当前时间向前推预设时长作为本次打钻的开始状态，并记录当前钻机的高度作为钻机上下运动的临界值；

所述第二计算单元，具体用于当在所述运动范围内，连续未识别到钻顶的帧数超过设定阈值，且钻机下降到上下运动的临界值以下时，记为本次打钻的结束状态，并记录一次打钻次数。

可选地，在该实施例中，参数计算模块，具体包括：

第三计算单元，用于当最后一次识别到钻顶的连续帧数或持续时长超过设定阈值时，根据此时记录的打钻次数计算打钻深度。

关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

图6是根据本发明一示例性实施例示出的一种计算设备的结构示意图。

参见图6，计算设备600包括存储器610和处理器620。

处理器620可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器610可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器620或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器610可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器610可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器610上存储有可执行代码，当可执行代码被处理器620处理时，可以使处理器620执行上文述及的方法中的部分或全部。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤的部分或全部。

上文中已经参考附图详细描述了本发明的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于计算机视觉算法的井下支护工序识别方法，其特征在于，包括：

采集井下支护作业区域的图像；

通过训练后的目标检测算法从所述图像中提取钻机、钻顶信息；

根据所述钻机、钻顶信息计算井下支护工序参数。

2.根据权利要求1所述的方法，其特征在于，根据所述钻机、钻顶信息计算井下支护工序参数，具体包括：

当首次识别到钻顶的置信度超过设定阈值时，记录当前时间向前推预设时长作为本次打钻的开始状态，并记录当前钻机的高度作为钻机上下运动的临界值；

当连续未识别到钻顶的帧数超过设定阈值，且钻机下降到上下运动的临界值以下时，记为本次打钻的结束状态，并记录一次打钻次数。

3.根据权利要求2所述的方法，其特征在于，还包括：

根据打钻开始后预设帧数内钻机的宽度和中心点坐标确定本次打钻过程中钻顶的运动范围。

4.根据权利要求3所述的方法，其特征在于，根据所述钻机、钻顶信息计算井下支护工序参数，具体包括：

当在所述运动范围内，首次识别到钻顶的置信度超过设定阈值时，记录当前时间向前推预设时长作为本次打钻的开始状态，并记录当前钻机的高度作为钻机上下运动的临界值；

当在所述运动范围内，连续未识别到钻顶的帧数超过设定阈值，且钻机下降到上下运动的临界值以下时，记为本次打钻的结束状态，并记录一次打钻次数。

5.根据权利要求1-4任一项所述的方法，其特征在于，根据所述钻机、钻顶信息计算井下支护工序参数，具体包括：

当最后一次识别到钻顶的连续帧数或持续时长超过设定阈值时，根据此时记录的打钻次数计算打钻深度。

6.一种基于计算机视觉算法的井下支护工序识别系统，其特征在于，包括：

图像采集模块，用于采集井下支护作业区域的图像；

目标检测模块，用于通过训练后的目标检测算法从所述图像中提取钻机、钻顶信息；

参数计算模块，用于根据所述钻机、钻顶信息计算井下支护工序参数。

7.根据权利要求1所述的系统，其特征在于，参数计算模块，具体包括：

第一计算单元，用于当首次识别到钻顶的置信度超过设定阈值时，记录当前时间向前推预设时长作为本次打钻的开始状态，并记录当前钻机的高度作为钻机上下运动的临界值，记录当前钻机和钻顶之间的距离；

第二计算单元，用于当连续未识别到钻顶的帧数超过设定阈值，且钻机下降到上下运动的临界值以下时，记为本次打钻的结束状态，并记录一次打钻次数。

8.根据权利要求6或7所述的系统，其特征在于，参数计算模块，具体包括：

第三计算单元，用于当最后一次识别到钻顶的连续帧数或持续时长超过设定阈值时，根据此时记录的打钻次数计算打钻深度。

9.一种终端设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。

10.一种非暂时性机器可读存储介质，其上存储有可执行代码，其特征在于，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。

Images