CN115807685B - 矿用锚护装备钻锚作业的自动控制系统 - Google Patents

Abstract

本发明涉及一种矿用锚护装备钻锚作业的自动控制系统，属于智能煤矿技术领域。包括：深度摄像头、白色环形光源和边缘计算机，深度摄像头用于在锚护装备钻锚作业中实时采集作业环境图像；白色环形光源用于对深度摄像头进行补光；边缘计算机用于识别作业环境图像中的锚孔；在识别到锚孔后拟合锚孔轮廓，并根据锚孔轮廓获取锚孔中心点的像素坐标；根据深度摄像头获取锚孔相对于机械臂的三维坐标；进行运动学逆解算计算机械臂运动到锚孔正下方时机械臂上每个关节的转动量和移动量，并传输至锚护装备的PLC，使PLC根据机械臂上每个关节的转动量和移动量控制机械臂移动到锚孔正下方进行钻锚作业。本发明实现了矿用锚护装备钻锚作业的完全自动化。

Description

矿用锚护装备钻锚作业的自动控制系统

技术领域

本发明涉及智能煤矿技术领域，尤其涉及一种矿用锚护装备钻锚作业的自动控制系统。

背景技术

目前煤矿井下支护工作仍然需要人工完成，支护工作耗费大量人力和时间。煤矿井下常用的液压锚护装备，其利用钻杆打孔和打锚杆动作已通过PLC实现了自动化，但是在打锚杆时确定锚护装备机械臂位置，操控锚护装备机械臂移动到锚孔正下方完成钻锚作业仍需要人工完成，尤其当巷道顶板条件不好需要使用支护钢带辅助锚杆支护时，若机械臂不能准确定位到锚孔正下方，钻杆和锚杆打在钢带上容易损坏锚护装备且存在较大安全隐患，因此，工人人身安全得不到保障，工作效率低，且无法实现钻锚作业的自动化。

当前对矿用锚护装备机械臂定位的研究较少，比较相近的研究有全自动凿岩台车和采矿爆破时炮孔识别与自动装药等。比如迟洪鹏等自主研发了一种地下矿用智能炸药装药车，通过图像识别算法计算出炮孔的相对位置，并控制机械臂移动，实现了自动寻孔、自动装药。张万志利用深度学习算法实现了隧道炮孔的自动识别。但是上述两种方法中的识别算法不适用于煤矿掘进巷道有粉尘和水雾的条件，且对孔位的识别与定位并不是实时的，会消耗较长时间。

发明内容

为解决上述技术问题，本发明提供一种矿用锚护装备钻锚作业的自动控制系统。本发明的技术方案如下：

一种矿用锚护装备钻锚作业的自动控制系统，其包括深度摄像头、白色环形光源和边缘计算机，所述深度摄像头和白色环形光源固定在锚护装备的机械臂上，且白色环形光源位于深度摄像头下方，所述边缘计算机安装于锚护装备的电控箱中，深度摄像头与边缘计算机电性连接，边缘计算机与锚护装备的PLC电性连接；

所述深度摄像头用于：在锚护装备钻锚作业中实时采集作业环境图像，并将所述作业环境图像实时传输至边缘计算机；

所述白色环形光源用于：在所述深度摄像头采集作业环境图像时进行补光；

所述边缘计算机用于：识别所述作业环境图像中的锚孔；在识别到锚孔后拟合锚孔轮廓，并根据锚孔轮廓获取锚孔中心点的像素坐标；根据深度摄像头获取锚孔中心点到深度摄像头的距离；获取锚孔相对于深度摄像头的三维坐标；根据深度摄像头与机械臂的相对位置关系换算出锚孔相对于机械臂的三维坐标；进行运动学逆解算计算机械臂运动到锚孔正下方时机械臂上每个关节的转动量和移动量，并将机械臂上每个关节的转动量和移动量传输至锚护装备的PLC，使PLC根据机械臂上每个关节的转动量和移动量控制机械臂移动到锚孔正下方进行钻锚作业。

可选地，所述边缘计算机在识别所述作业环境图像中的锚孔时，通过如下方式来实现：

首先，通过自适应直方图均衡化算法对作业环境图像进行去雾处理，得到去雾后的图像；

然后，通过YOLOv5s模型中的特征提取网络提取去雾后的图像的特征，得到初始图像特征图；

接着，通过自注意力机制模块提取初始图像特征图中的细节特征，得到细节特征图；

最后，通过YOLOv5s模型的输出网络输出所述作业环境图像中的锚孔。

可选地，所述边缘计算机在拟合锚孔轮廓，并根据锚孔轮廓获取锚孔中心点的像素坐标时，通过如下方式来实现：

将锚孔从作业环境图像中截取出来，得到锚孔图像；对锚孔图像通过形态学操作算法进行处理，得到锚孔图像轮廓；然后使用Canny边缘检测算法检测锚孔图像轮廓中的直线和弧线；通过霍夫圆检测算法检测锚孔图像轮廓中的直线和弧线中的圆，得到拟合的圆轮廓；输出拟合的圆轮廓的圆心坐标作为锚孔中心点的像素坐标。

可选地，所述边缘计算机在获取锚孔相对于深度摄像头的三维坐标时，通过如下公式（1）将锚孔中心点的像素坐标转换为锚孔相对于深度摄像头的三维坐标：

（1）

公式（1）中：表示光轴与成像平面的交点，即图像坐标系原点在像素坐标系下的坐标；为沿X轴和Y轴两个方向的焦距，和为深度摄像头的固定参数，可通过深度摄像头标定获得，Z表示锚孔中心点到深度摄像头的距离。

可选地，所述边缘计算机在根据深度摄像头与机械臂的相对位置关系换算出锚孔相对于机械臂的三维坐标时，通过如下公式（2）来实现：

（2）

公式（2）中，为深度摄像头与机械臂末端的相对位置关系。

可选地，所述PLC在根据机械臂上每个关节的转动量和移动量控制机械臂移动到锚孔正下方进行钻锚作业时，通过如下方式来实现：

PLC根据布置在机械臂关节的角度传感器和位移传感器的检测值判断机械臂是否移动到锚孔正下方；

若机械臂移动到锚孔正下方，则进行钻锚作业；

若机械臂未移动到锚孔正下方，则边缘计算机重新定位锚孔，直至机械臂移动到锚孔正下方时进行钻锚作业。

可选地，所述PLC根据布置在机械臂关节的角度传感器和位移传感器的检测值判断机械臂是否移动到锚孔正下方时，通过如下方式来实现：

判断运动学逆解算得到的数值与角度传感器和位移传感器的检测值之间的差值是否小于设定的阈值；若差值小于设定的阈值，则确定机械臂移动到锚孔正下方；若差值不小于设定的阈值，则确定机械臂未移动到锚孔正下方。

上述所有可选地技术方案均可任意组合，本发明不对一一组合后的结构进行详细说明。

借由上述方案，本发明的有益效果如下：

通过设置深度摄像头、白色环形光源和边缘计算机，结合矿用锚护装备自身配置的PLC，提供了一种适用于煤矿井下的锚护装备钻锚作业的自动控制系统，通过该系统可以实时识别煤矿井下作业环境图像中的锚孔，并控制锚护装备的机械臂移动到锚孔正下方进行钻锚作业，实现了钻锚作业过程的完全自动化，提升了钻锚作业的工作效率，减少了人工操作成本，提高了工作人员的人身安全系数。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是本发明提供的矿用锚护装备钻锚作业的自动控制系统的组成结构示意图。

图2是本发明中边缘计算机的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明提供的矿用锚护装备钻锚作业的自动控制系统，其包括深度摄像头1、白色环形光源2和边缘计算机，所述深度摄像头1和白色环形光源2固定在锚护装备的机械臂3上，且白色环形光源2位于深度摄像头1下方，所述边缘计算机安装于锚护装备的电控箱中，深度摄像头1与边缘计算机电性连接，边缘计算机与锚护装备的PLC电性连接。

所述深度摄像头1用于：在锚护装备钻锚作业中实时采集作业环境图像，并将所述作业环境图像实时传输至边缘计算机。也就是说，深度摄像头1用于建立Eye-in-hand手眼系统，深度摄像头1跟随机械臂3的移动而移动。

所述白色环形光源2用于：在所述深度摄像头1采集作业环境图像时进行补光。具体地，由于煤矿井下光照条件较差，因此，本发明实施例选用白色环形光源2为深度摄像头1进行补光。

如图2所示，所述边缘计算机用于：识别所述作业环境图像中的锚孔；在识别到锚孔后拟合锚孔轮廓，并根据锚孔轮廓获取锚孔中心点的像素坐标；根据深度摄像头1获取锚孔中心点到深度摄像头1的距离；获取锚孔相对于深度摄像头1的三维坐标；根据深度摄像头1与机械臂3的相对位置关系换算出锚孔相对于机械臂3的三维坐标；进行运动学逆解算计算机械臂3运动到锚孔正下方时机械臂3上每个关节的转动量和移动量，并将机械臂3上每个关节的转动量和移动量传输至锚护装备的PLC，使PLC根据机械臂3上每个关节的转动量和移动量控制机械臂3移动到锚孔正下方进行钻锚作业。

在一个具体实施例中，所述边缘计算机在识别所述作业环境图像中的锚孔时，通过如下方式来实现：首先，通过自适应直方图均衡化算法对作业环境图像进行去雾处理，得到去雾后的图像；然后，通过YOLOv5s模型中的特征提取网络提取去雾后的图像的特征，得到初始图像特征图；接着，通过自注意力机制模块提取初始图像特征图中的细节特征，得到细节特征图；最后，通过YOLOv5s模型的输出网络输出所述作业环境图像中的锚孔。

具体地，由于煤矿巷道有粉尘和水雾干扰且光照条件较复杂，为避免出现漏检，本发明实施例在定位作业环境图像中的锚孔时，先通过自适应直方图均衡化算法对作业环境图像进行去雾处理，使作业环境图像变得清晰，从而使锚孔图像特征更明显，保证后续YOLOv5s模型的特征提取网络能提取到更多特征。

进一步地，由于作业环境图像中锚孔较小，在卷积过程中容易丢失特征信息，从而导致检测精度低，所以本发明实施例引入自注意力机制模块，即在YOLOv5s模型的CSP模块后面插入自注意力机制模块来提取更丰富的特征，进而提升特征提取网络的深度，增加锚孔特征提取量从而提升模型检测精度。也就是说，本发明实施例在提取去雾后的图像的特征时，使用改进后的YOLOv5s模型来实现。改进后的YOLOv5s模型在YOLOv5s模型的CSP模块后面、输出网络之前连接自注意力机制模块，通过自注意力机制模块提取去雾后的图像中的更丰富的特征。

在一个具体实施例中，所述边缘计算机在拟合锚孔轮廓，并根据锚孔轮廓获取锚孔中心点的像素坐标时，通过如下方式来实现：将锚孔从作业环境图像中截取出来，得到锚孔图像；对锚孔图像通过形态学操作算法进行处理，得到锚孔图像轮廓；然后使用Canny边缘检测算法检测锚孔图像轮廓中的直线和弧线；通过霍夫圆检测算法检测锚孔图像轮廓中的直线和弧线中的圆，得到拟合的圆轮廓；输出拟合的圆轮廓的圆心坐标作为锚孔中心点的像素坐标。

其中，通过将锚孔从作业环境图像中截取出来，可以缩小图像处理范围，减小运算量。形态学操作算法可以为阈值分割算法、腐蚀膨胀算法等。

具体地，在通过霍夫圆检测算法检测锚孔图像轮廓中的直线和弧线中的圆时，具体原理为：构建圆函数，即，式中(a,b)为圆心坐标，r为圆半径，θ为圆周上切点与x轴正向的夹角。把x-y坐标系中的圆转换到a-b-r组成的三维坐标系中，一个点可以确定一个圆。假设锚孔图像轮廓中的直线和弧线上每一个非零像素点都可能是圆上的一点，将经过x-y坐标系中某一点的所有圆映射到a-b-r坐标系中就是一条三维曲线，将x-y坐标系上所有非零像素点的圆都映射到a-b-r坐标系中就得到多条三维曲线。在x-y坐标系中同一个圆上的点的圆方程是一样的，映射到a-b-r坐标系中是一个点。通过判断a-b-r坐标系中每一点三维曲线相交的数量，若大于一定阈值就认为是圆。

在一个具体实施例中，所述边缘计算机在获取锚孔相对于深度摄像头1的三维坐标时，通过如下公式（1）将锚孔中心点的像素坐标(u,v)转换为锚孔相对于深度摄像头1的三维坐标：

（1）

公式（1）中：表示光轴与成像平面的交点，即图像坐标系原点在像素坐标系下的坐标；为沿X轴和Y轴两个方向的焦距，和为深度摄像头1的固定参数，可通过深度摄像头1标定获得，Z表示锚孔中心点到深度摄像头1的距离。

其中，在获取锚孔中心点到深度摄像头1的距离z时，由于锚孔有一定深度，若直接使用锚孔中心点深度值会使锚孔到深度摄像头1的深度值偏大，导致得到的坐标有误差，因此，本发明实施例使用锚孔中心点平面到深度摄像头1平面的深度值表示锚孔到深度摄像头1的距离。

在一个具体实施例中，所述边缘计算机在根据深度摄像头1与机械臂3的相对位置关系换算出锚孔相对于机械臂3的三维坐标时，通过如下公式（2）来实现：

（2）

公式（2）中，为深度摄像头1与机械臂3末端的相对位置关系。

在一个具体实施例中，在进行运动学逆解算计算机械臂3运动到锚孔正下方时机械臂3上每个关节的转动量和移动量时，运动学逆解算结果中运动量最小即械臂3的运动关节数目最少的一组解即为计算结果。在此基础上，所述PLC在根据机械臂3上每个关节的转动量和移动量控制机械臂3移动到锚孔正下方进行钻锚作业时，通过如下方式来实现：PLC根据布置在机械臂3关节的角度传感器和位移传感器的检测值判断机械臂3是否移动到锚孔正下方；若机械臂3移动到锚孔正下方，则进行钻锚作业；若机械臂3未移动到锚孔正下方，则边缘计算机重新定位锚孔，直至机械臂3移动到锚孔正下方时进行钻锚作业。

其中，边缘计算机重新定位锚孔时，需要重复执行图2所示的流程。

进一步地，所述PLC根据布置在机械臂3关节的角度传感器和位移传感器的检测值判断机械臂3是否移动到锚孔正下方时，通过如下方式来实现：判断运动学逆解算得到的数值与角度传感器和位移传感器的检测值之间的差值是否小于设定的阈值；若差值小于设定的阈值，则确定机械臂3移动到锚孔正下方；若差值不小于设定的阈值，则确定机械臂3未移动到锚孔正下方。

在具体实施时，运动学逆解算得到的角度传感器的数值与角度传感器的检测值之间的差值小于第一预设阈值，且运动学逆解算得到的位移传感器的数值与位移传感器的检测值之间的差值小于第二预设阈值时，确定机械臂3移动到锚孔正下方。否则，确定机械臂3未移动到锚孔正下方。

具体地，PLC在控制机械臂3进行钻锚作业时，通过输出不同的控制电流驱动机械臂3各个关节的液压油缸运动来实现控制机械臂3移动。

本发明实施例提供的矿用锚护装备钻锚作业的自动控制系统，通过该系统可以实时识别煤矿井下作业环境图像中的锚孔，并控制锚护装备的机械臂移动到锚孔正下方进行钻锚作业，实现了钻锚作业过程的完全自动化，提升了钻锚作业的工作效率，减少了人工操作成本，提高了工作人员的人身安全系数。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (6)

1.一种矿用锚护装备钻锚作业的自动控制系统，其特征在于，包括深度摄像头（1）、白色环形光源（2）和边缘计算机，所述深度摄像头（1）和白色环形光源（2）固定在锚护装备的机械臂（3）上，且白色环形光源（2）位于深度摄像头（1）下方，所述边缘计算机安装于锚护装备的电控箱中，深度摄像头（1）与边缘计算机电性连接，边缘计算机与锚护装备的PLC电性连接；

所述深度摄像头（1）用于：在锚护装备钻锚作业中实时采集作业环境图像，并将所述作业环境图像实时传输至边缘计算机；

所述白色环形光源（2）用于：在所述深度摄像头（1）采集作业环境图像时进行补光；

所述边缘计算机用于：识别所述作业环境图像中的锚孔；在识别到锚孔后拟合锚孔轮廓，并根据锚孔轮廓获取锚孔中心点的像素坐标；根据深度摄像头（1）获取锚孔中心点到深度摄像头（1）的距离；获取锚孔相对于深度摄像头（1）的三维坐标；根据深度摄像头（1）与机械臂（3）的相对位置关系换算出锚孔相对于机械臂（3）的三维坐标；进行运动学逆解算计算机械臂（3）运动到锚孔正下方时机械臂（3）上每个关节的转动量和移动量，并将机械臂（3）上每个关节的转动量和移动量传输至锚护装备的PLC，使PLC根据机械臂（3）上每个关节的转动量和移动量控制机械臂（3）移动到锚孔正下方进行钻锚作业；

其中，所述边缘计算机在获取锚孔相对于深度摄像头（1）的三维坐标时，通过如下公式（1）将锚孔中心点的像素坐标转换为锚孔相对于深度摄像头（1）的三维坐标：

（1）

公式（1）中：表示光轴与成像平面的交点，即图像坐标系原点在像素坐标系下的坐标；为沿X轴和Y轴两个方向的焦距，和为深度摄像头（1）的固定参数，可通过深度摄像头（1）标定获得，Z表示锚孔中心点到深度摄像头（1）的距离。

2.根据权利要求1所述的矿用锚护装备钻锚作业的自动控制系统，其特征在于，所述边缘计算机在识别所述作业环境图像中的锚孔时，通过如下方式来实现：

首先，通过自适应直方图均衡化算法对作业环境图像进行去雾处理，得到去雾后的图像；

然后，通过YOLOv5s模型中的特征提取网络提取去雾后的图像的特征，得到初始图像特征图；

接着，通过自注意力机制模块提取初始图像特征图中的细节特征，得到细节特征图；

最后，通过YOLOv5s模型的输出网络输出所述作业环境图像中的锚孔。

3.根据权利要求1或2所述的矿用锚护装备钻锚作业的自动控制系统，其特征在于，所述边缘计算机在拟合锚孔轮廓，并根据锚孔轮廓获取锚孔中心点的像素坐标时，通过如下方式来实现：

将锚孔从作业环境图像中截取出来，得到锚孔图像；对锚孔图像通过形态学操作算法进行处理，得到锚孔图像轮廓；然后使用Canny边缘检测算法检测锚孔图像轮廓中的直线和弧线；通过霍夫圆检测算法检测锚孔图像轮廓中的直线和弧线中的圆，得到拟合的圆轮廓；输出拟合的圆轮廓的圆心坐标作为锚孔中心点的像素坐标。

4.根据权利要求1所述的矿用锚护装备钻锚作业的自动控制系统，其特征在于，所述边缘计算机在根据深度摄像头（1）与机械臂（3）的相对位置关系换算出锚孔相对于机械臂（3）的三维坐标时，通过如下公式（2）来实现：

（2）

公式（2）中，为深度摄像头（1）与机械臂（3）末端的相对位置关系。

5.根据权利要求1所述的矿用锚护装备钻锚作业的自动控制系统，其特征在于，所述PLC在根据机械臂（3）上每个关节的转动量和移动量控制机械臂（3）移动到锚孔正下方进行钻锚作业时，通过如下方式来实现：

PLC根据布置在机械臂（3）关节的角度传感器和位移传感器的检测值判断机械臂（3）是否移动到锚孔正下方；

若机械臂（3）移动到锚孔正下方，则进行钻锚作业；

若机械臂（3）未移动到锚孔正下方，则边缘计算机重新定位锚孔，直至机械臂（3）移动到锚孔正下方时进行钻锚作业。

6.根据权利要求5所述的矿用锚护装备钻锚作业的自动控制系统，其特征在于，所述PLC根据布置在机械臂（3）关节的角度传感器和位移传感器的检测值判断机械臂（3）是否移动到锚孔正下方时，通过如下方式来实现：

判断运动学逆解算得到的数值与角度传感器和位移传感器的检测值之间的差值是否小于设定的阈值；若差值小于设定的阈值，则确定机械臂（3）移动到锚孔正下方；若差值不小于设定的阈值，则确定机械臂（3）未移动到锚孔正下方。

Images