CN112068543B - 基于视觉校准的煤矿钻锚机器人钻孔精确定位方法 - Google Patents

Abstract

本发明公开了一种基于视觉校准的煤矿钻锚机器人钻孔精确定位方法，采用分布式雷达测距传感器采集钻锚机器人前、后、内测及外侧距离信息，通过程序设计以保证钻锚机器人沿巷道中心线行进，不发生偏置；采用光电编码器和角位移传感器构成钻锚平台上钻机平移距离和旋转角度的半闭环控制系统；采用倾角传感器采集钻锚机器人所处地面倾角信息，实现钻机平台位姿调成，以补偿地面倾角所带来的误差；采用基于视觉的方式实现钻机末端智能对准锚网孔完成精确打钻目标，实现钻机的精确定位。本发明的精确定位方法简单、完整，不仅解决了人工钻孔作业费时费力、危险系数高等问题，而且提高了钻孔及锚杆作业的精确性、实时性，具有广泛的应用前景。

Description

基于视觉校准的煤矿钻锚机器人钻孔精确定位方法

技术领域

本发明涉及钻孔定位技术领域，具体涉及一种基于视觉校准的煤矿钻锚机器人钻孔精确定位方法。

背景技术

煤炭是我国电力能源、动力来源必不可少的重要基础，是工业发展、民用经济的重要来源。煤矿产业的发展离不开人力的支持，由此造成人力需求量大、作业环境差等不良因素对人的影响甚为严重。巷道掘进工艺中，掘进、支护、钻锚、运输等都需要有人力的支持，才能保证煤矿作业的安全性。掘进工作大部分为人工驾驶和操作掘进机完成掘进作业；支护工作由人工完成上锚网及运输作业；钻锚作业也是依靠人力完成钻孔及锚杆作业，由此造成的人工劳动强度大、工作环境恶劣以及作业完成可靠性及安全性等问题无处不在。

随着国家有关各级部门对煤矿发展的日益重视，传统的巷道掘进工艺内容逐步实现了智能化，在钻锚作业中体现尤为明显，钻锚机器人的出现为支护工作带来了便利和安全。钻锚机器人大多拥有独立的驱动模块，根据打钻需求，设计不同的钻机类型及数量，通过人工驾驶完成钻锚作业，出现偏差时则由人工完成纠偏工作，大大减轻了人力劳动的强度，但依然是需要人工监测来满足钻锚作业的精确性。钻锚机器人主要由钻架、锚杆储存装置、锚固剂喷注装置、锚杆装卸装置以及钻机组成，依靠机械结构之间的转换关系完成钻锚孔、装锚固剂、装锚杆、上锚杆等连续性自动化作业，完善了人工耗费工时长、自动化程度低的缺点。但在钻锚机器人移动时，往往需要司机为找准目标位置反复调整机器人位姿来满足移动精度要求；在钻孔对准所需打钻目标点过程中，同样也往往需要人工辅助使钻机对准钻孔，以免钻机对准到锚网连接处。

针对煤矿复杂地质条件巷道所设计的龙门履带式钻锚机器人掘进与钻锚定位难题做出研究。该钻锚机器人精确定位可分为两大模块，包括钻锚机器人自身精确定位和钻机精确对准，其中钻机定位还包括顶板钻机和侧帮钻机的定位。针对该钻锚机器人的工作方式，研究适合于其的精确定位方法，有助于提升煤矿巷道支护的工作效率，提高了钻锚机器人和各钻机打钻的定位精度，对实现钻锚机器人高精度、高效率钻锚作业，钻锚作业的智能化和精确化，解放生产力具有重要意义。

发明内容

本发明提供了一种基于视觉校准的煤矿钻锚机器人钻孔精确定位方法，克服了煤矿巷道现有钻锚作业中工作效率低、人力需求大、完成精度差等缺点。

为实现上述目的，本发明采取的技术方案为：

基于视觉校准的煤矿钻锚机器人钻孔精确定位方法，其特征在于：包括如下步骤：

根据目前钻锚机器人本体结构及运动方式，通过机器人学理论计算钻锚机器人各部件的运动参数，精确计算钻锚机器人与目标钻孔点之间的坐标转换关系，得到期望值；

利用光电编码器采集钻锚机器人驱动模块位移信息实现驱动模块的精确行走定位，使机器人到达预期的位置；

通过在钻锚机器人上搭载的雷达测距传感器、角位移传感器、光电编码器、倾角传感器提供正确的机器人位姿信息；通过视觉模块搭配机载激光采集钻机末端图像信息及距离信息，得到实际值，与期望值对比，及时调整钻机位置，顺利完成钻锚作业。

进一步地，具体包括如下步骤：

S1、精确计算钻锚机器人与目标钻孔点之间的坐标转换关系,得到期望值；

按照工作类型的不同将龙门履带式钻锚机器人的钻机分为顶板钻机和侧帮钻机；在巷道已经成型的基础上建立初始坐标系(X₀ Y₀ Z₀)，根据预期钻点位置得出目标点所在初始坐标系的坐标值(X_n Y_n Z_n)，以此作为钻机平台末端所要达到的目标点，根据钻机平台运动情况及结构特性进行逆运动学分析，计算出钻机平台上导轨的平移目标点坐标值(X_iY_i Z_i)，以及旋转目标坐标值(X_j Y_j Z_j)，完成空间各部件之间的相对坐标转换，得到期望值；

S2、驱动钻锚机器人到达预期的位置；

根据计算所得的期望值，通过控制器下发给驱动模块，使煤矿巷道钻锚机器人达到预期的位移目标，驱动模块由上位机、主控制器、电机、光电编码器组成；并通过检测模块主要是由雷达测距传感器完成钻锚机器人与巷道距离信息的采集，防止机器人在移动过程中出现走偏情况，通过设定安全距离的方式，判断所采集到的距离信息是否小于所设定的安全距离，若小于，则及时调整机器人行走位姿；

S3、煤矿巷道钻锚机器人钻机平台精确定位：

煤矿巷道钻锚机器人到达预期的位置后，钻锚机器人侧帮护盾式结构向外推出，使其与巷道煤壁顶死，以至于钻锚机器人驱动模块暂时无法移动，钻机平台上主要是由钻机所在导轨的平移副和电机连接处的旋转副组成,其每个运动副的运动参数由步骤S1解算得出，其中，由光编码器完成平移副的半闭环移动控制，使得钻锚机器人所有的平移副和旋转副都已到达目标位置；由角位移传感器采集旋转副的角度信息，并且判断是否运动到目标参数值，形成半闭环控制系统；

S4、钻锚机器人存在倾角情况下钻机末端与锚网孔精确对准：

为了避免钻锚机器人正好处于上、下坡等存在倾角的情况，采用倾角传感器读取机器人倾角信息，此时钻锚机器人底盘已经固定，则通过再次求解逆运动学，利用钻机平台的运动副来补偿倾角误差；

S5、钻机末端与锚网孔精确对准：

在完成以上步骤的情况下，机载激光所发射的光线将精确对准锚网孔中心并提取光源到光斑的距离信息，利用钻机末端位置配置的视觉传感器(需避免产生目标点被锚网覆盖，钻机与锚网接点对准的情况)采集含有激光光斑的锚网孔图像信息，通过对图像信息进行光斑中心点检测的处理，得到图像中光斑中心点坐标信息作为目标点，再次求解逆运动学，实现钻机与锚网孔中心精确对准。

进一步地，所述钻锚机器人为两履带式龙门履带钻锚机器人，可横跨于掘进机所在工作面，钻机分为顶帮钻机和侧帮钻机，每个钻机都是独立的控制器，可实现精确的力控制，且每个钻机工作互不干涉。

进一步地，所述钻锚机器人各部件的运动参数的计算包括履带行走机构运动参数计算、顶板钻机和侧帮钻机的平移距离和旋转角度的计算、钻机末端与目标锚网孔中心点之间距离计算以及打钻深度的计算。

进一步地，所述雷达测距传感器包括前侧雷达测距传感器、后侧雷达测距传感器、左侧雷达测距传感器、右侧雷达测距传感器、内部雷达测距传感器，前、后两侧传感器检测钻锚机器人与掘进工作面其它设备之间的距离，左、右两侧传感器检测钻锚机器人与两侧巷壁的距离，内部传感器检测钻锚机器人与内部设备的距离。

进一步地，所述光电编码器包括左侧履带光电编码器和右侧履带光电编码器，分别检测两侧行走机构的位移信息，将所检测到的误差发送主控制器，实现行走机构的半闭环控制系统；顶板钻机第一编码器、顶板钻机第二编码器、顶板钻机角位移传感器实现顶板钻机位移及角位移的检测；侧帮钻机第一编码器、侧帮钻机第二编码器、侧帮钻机角位移传感器实现侧帮钻机位移及角位移的检测，所有传感器的输出接口均与控制器的输入接口相连；

进一步地，所述视觉传感器用于图像采集，配合机载激光提取距离信息，为钻机精确对准锚网中心孔点做基础；距离信息为坐标转换解算运动参数做基础，同时采用图像处理算法和坐标转换算法实现图像处理过程中精确提取网孔中心点坐标信息的目的。

本发明采用分布式雷达测距传感器采集钻锚机器人前、后、内测及外侧距离信息，通过程序设计以保证钻锚机器人沿巷道中心线行进，不发生偏置；采用光电编码器和角位移传感器构成钻锚平台上钻机平移距离和旋转角度的半闭环控制系统；采用倾角传感器采集钻锚机器人所处地面倾角信息，实现钻机平台位姿调成，以补偿地面倾角所带来的误差；采用基于视觉的方式实现钻机末端智能对准锚网孔完成精确打钻目标，实现钻机的精确定位，为井下钻锚任务提供了一种面向任务的精确定位方法。

与现有技术相比，本发明具有以下有益效果：

1、所采用的精确定位方法不局限于本发明所针对的两履带龙门履带式钻锚机器人，可以应用于多种可移动式机器人平台，根据功能要求选择不同传感设备即可，具有较强的应用性；

2、所采用的传感设备以及驱动控制设备简单常见，实现方式简单可靠，投入成本较低，具有廉价、简易等特点；

3、所采用的钻锚机器人驱动模块由光电编码器实现对履带驱动设备运动参数的检测，实现驱动模块的半闭环控制系统，同时在钻锚机器人外侧分布布置雷达测距传感器，控制钻锚机器人始终沿着巷道中心线行驶，纠正位姿，整个系统实现原理简单，提高了钻锚机器人移动的可靠性；

4、所采用的钻锚机器人钻机平台上的每个钻机均有四个自由度，包括两个平移自由度和两个旋转自由度，可通过这四个自由度实现钻机末端能够精准达到所需钻孔的目标点，同时利用视觉引导钻机末端精确对准目标钻孔，实时调整钻机平台位姿，双重保证了锚杆作业的精确性；

5、所采用的钻锚机器人面向任务的精确定位方法实现方便，无需人工操作，可以主动完成驱动模块精确—移动钻机精确定位—精确对准—打钻—上锚杆一系列锚杆作业。完成后，将钻机恢复到初始位置与钻锚框架贴合并初始化坐标系，保证下次作业的精确性，最大程度上解放了劳动生产力，具有工作效率高、精度高、自动化、智能化等特点。

综上所述，本发明实现简单且成本低，无需人工操作，实现钻锚机器人自主精确移动、自主精确找孔、自主锚杆作业等井下工作，很大程度上降低了井下工作人员的劳动强度，实现了综掘工作面锚杆作业的自动化和智能化，实用性强，应用范围广。

附图说明

图1为本发明实施例中龙门履带钻锚机器人的结构示意图。

图2为本发明实施例中龙门履带式钻锚机器人顶板钻机坐标系关系图。

图3为本发明实施例中龙门履带式钻锚机器人侧帮钻机坐标系关系图。

图4为本发明实施例中基于视觉的钻机精确对准锚网孔中心的检测流程图。

图5为本发明实施例中龙门履带式钻锚机器人工作流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，所述钻锚机器人为两履带式龙门履带钻锚机器人，包括钻锚机器人整体龙门结构①、呈左右对称分布的两个顶板钻机②、左右两个履带行走机构③、呈左右对称分布的两个侧帮钻机④；钻锚机器人上配置：侧帮钻机第二编码器1、侧帮钻机机载激光装置和摄像头2，摄像头云台可沿着导轨滑动，侧帮钻机第一编码器3，侧帮钻机角位移传感器4，左侧驱动模块光电编码器5，左侧内部雷达测距传感器6，左侧外部雷达测距传感器7，前侧雷达测距传感器8，倾角传感器9，后侧雷达测距传感器10，顶板钻机第一编码器11，顶板钻机角位移传感器12，顶板钻机第二编码器13，顶板钻机机载激光装置和摄像头14，摄像头云台可沿着导轨滑动，右侧驱动模块光电编码器15，右侧内部雷达测距传感器16，右侧外部雷达测距传感器17。钻锚机器人移动时，左侧驱动模块光电编码器5和右侧驱动模块光电编码器15实时采集左右两驱动模块的位移信息并上传，与预期距离作比较，减小移动误差，完成底盘半闭环控制；雷达测距传感器内部雷达测距传感器6，左侧外部雷达测距传感器7，前侧雷达测距传感器8、1后侧雷达测距传感器10、右侧内部雷达测距传感器16，右侧外部雷达测距传感器17实时采集钻锚机器人与周围环境的距离信息，调整钻锚机器人位姿，避免机器人与巷壁及其它设备发生碰撞。钻锚机器人钻孔时，默认驱动模块不再移动，侧帮钻机第二编码器1、侧帮钻机第一编码器3和侧帮钻机角位移传感器4采集侧帮钻机钻孔时导轨移动距离和电机旋转角度信息，顶板钻机第一编码器11、顶板钻机第二编码器13和顶板钻机角位移传感器12采集顶板钻机钻孔时导轨移动距离和电机旋转角度信息并上发给主控制器，同时与运动学计算得到的理论值做比较，减少系统误差，完成精确钻孔半闭环控制；倾角传感器9采集钻锚机器人底盘是否存在倾角情况，若存在，根据传感器信息来补偿钻孔时倾角所带来的误差，同时也可通过机载激光装置和摄像头2和14来监测侧帮和顶板钻机是否精确对准网孔中心，避免钻机与锚网发生接触。

如图2所示，给出了龙门履带式钻锚机器人顶板钻机坐标系关系图，选取其中之一进行坐标系建立，其中{O₀}为初始坐标系，{O₁}、{O₂}、{O₃}为机器人本体坐标系，{O₄}、{O₅}、{O₆}为锚杆钻机坐标系，{O₅}、{O₆}为平移副，{O₄}为旋转副，可完成坐标系{O₀}到坐标系{O₆}的转换。在所需钻孔目标点已知的情况下，将其作为钻机末端坐标系{O₆}，假设钻锚机器人高度为h，顶板钻机至机器人后端距离为w，钻机旋转机构到水平导轨距离为l，到钻机推进机构距离为m，打钻时钻锚机器人前进的距离为a₁，顶板钻机在水平导轨上滑动距离为d₃，顶板钻机旋转过的角度为θ₄，打钻深度为d₆，由此可得出顶板钻机末端相对于初始坐标系的空间坐标旋转矩阵为：

因此，在已知的情况下，其中h、l、w可根据机器人本体结构测得，只需通过逆运动学求出钻锚机器人与顶板钻机相关联的各个部件运动参数a₁、d₃、θ₄、d₆即可。

如图3所示，给出了龙门履带式钻锚机器人侧帮钻机坐标系关系图，选取其中之一进行坐标系建立，其中{O₀}为初始坐标系，{O₁}、{O₂}、{O₃}为机器人本体坐标系，{O₄}、{O₅}、{O₆}为钻机坐标系，{O₅}、{O₆}为平移副，{O₄}为旋转副，可完成坐标系{O₀}到坐标系{O₅}的转换。在所需钻孔目标点已知的情况下，将其作为钻机末端坐标系{O₅}。根据上述假设条件可得出侧帮钻机末端相对于初始坐标系的空间坐标旋转矩阵为：

因此，在已知的情况下，其中l、w可根据机器人本体结构测得，只需通过逆运动学求出钻锚机器人与侧帮钻机相关联的各个部件运动参数a₁、d₃、d₆、θ₄即可。

如图4所示，给出了基于视觉的钻机精确对准锚网孔中心的检测流程图。若由于实际误差因素导致钻机末端与网孔中心出现位置偏差时，可通过机载激光装置和相机实现钻机的精确对准。在钻锚机器人精确定位于带钻孔巷道截面时，机载激光装置所发射出的激光会精确指向锚网孔中心，利用相机提取当前含激光光斑的锚网图像信息，采用图像处理算法对图中光斑中心进行坐标提取，并且通过激光装置可获取激光光源到光斑的距离信息，将所计算得到的光斑中心点坐标值作为机器人坐标值并再次求解逆运动学得出正确的机器人位姿，实现钻机钻孔的精确定位及位姿纠正。

如图5所示，给出了龙门履带式钻锚机器人工作流程图。首先，钻锚机器人进入工作状态并初始化，分别建立钻锚机器人顶板和侧帮钻机的空间坐标转换关系并计算得出顶板钻机和侧帮钻机相关运动参数a1、d3、θ4、d6。其次，根据计算所得的结果通过控制系统下发给各个运动部件，依次进行钻锚机器人自身精确定位以及钻锚机器人钻机精确定位。最后，若实际定位结果与预期值存在偏差，利用摄像头所提取到的图像信息获取到最近的目标点坐标值并再次通过所建立的模型逆求解出更新后的运动参数，实现真正意义上面向钻锚作业任务的龙门履带式钻锚机器人精确定位的目标。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.基于视觉校准的煤矿钻锚机器人钻孔精确定位方法，其特征在于：包括如下步骤：

根据目前钻锚机器人本体结构及运动方式，通过机器人学理论计算钻锚机器人各部件的运动参数，精确计算钻锚机器人与目标钻孔点之间的坐标转换关系，得到期望值；

利用光电编码器采集钻锚机器人驱动模块位移信息实现驱动模块的精确行走定位，使机器人到达预期的位置；

通过在钻锚机器人上搭载的雷达测距传感器、角位移传感器、光电编码器、倾角传感器提供正确的机器人位姿信息；通过视觉模块搭配机载激光采集钻机末端图像信息及距离信息，得到实际值，与期望值对比，及时调整钻机位置，顺利完成钻锚作业；

具体步骤如下：

S1、精确计算钻锚机器人与目标钻孔点之间的坐标转换关系,得到期望值；

按照工作类型的不同将龙门履带式钻锚机器人的钻机分为顶板钻机和侧帮钻机；在巷道已经成型的基础上建立初始坐标系(X₀Y₀Z₀)，根据预期钻点位置得出目标点所在初始坐标系的坐标值(X_nY_nZ_n)，以此作为钻机平台末端所要达到的目标点，根据钻机平台运动情况及结构特性进行逆运动学分析，计算出钻机平台上导轨的平移目标点坐标值(X_iY_iZ_i)，以及旋转目标坐标值(X_jY_jZ_j)，完成空间各部件之间的相对坐标转换，得到期望值；

S2、驱动钻锚机器人到达预期的位置；

根据计算所得的期望值，通过控制器下发给驱动模块，使煤矿巷道钻锚机器人达到预期的位移目标，驱动模块由上位机、主控制器、电机、光电编码器组成；并通过检测模块完成钻锚机器人与巷道距离信息的采集，防止机器人在移动过程中出现走偏情况，通过设定安全距离的方式，判断所采集到的距离信息是否小于所设定的安全距离，若小于，则及时调整机器人行走位姿；

S3、煤矿巷道钻锚机器人钻机平台精确定位：

煤矿巷道钻锚机器人到达预期的位置后，钻锚机器人侧帮护盾式结构向外推出，使其与巷道煤壁顶死，以至于钻锚机器人驱动模块暂时无法移动，由光电编码器完成平移副的半闭环移动控制，使得钻锚机器人所有的平移副和旋转副都已到达目标位置；由角位移传感器采集旋转副的角度信息，并且判断是否运动到目标参数值，形成半闭环控制系统；

S4、钻锚机器人存在倾角情况下钻机末端与锚网孔精确对准：

为了避免钻锚机器人正好处于上、下坡能够存在倾角的情况，采用倾角传感器读取机器人倾角信息，此时钻锚机器人底盘已经固定，则通过再次求解逆运动学，利用钻机平台的运动副来补偿倾角误差；

S5、钻机末端与锚网孔精确对准：

在完成以上步骤的情况下，机载激光所发射的光线将精确对准锚网孔中心并提取光源到光斑的距离信息，利用钻机末端位置配置的视觉传感器采集含有激光光斑的锚网孔图像信息，通过对图像信息进行光斑中心点检测的处理，得到图像中光斑中心点坐标信息作为目标点，再次求解逆运动学，实现钻机与锚网孔中心精确对准。

2.如权利要求1所述的基于视觉校准的煤矿钻锚机器人钻孔精确定位方法，其特征在于：所述钻锚机器人为两履带式龙门履带钻锚机器人，可横跨于掘进机所在工作面，钻机分为顶帮钻机和侧帮钻机，每个钻机都是独立的控制器，可实现精确的力控制，且每个钻机工作互不干涉。

3.如权利要求1所述的基于视觉校准的煤矿钻锚机器人钻孔精确定位方法，其特征在于：所述钻锚机器人各部件的运动参数的计算包括履带行走机构运动参数计算、顶板钻机和侧帮钻机的平移距离和旋转角度的计算、钻机末端与目标锚网孔中心点之间距离计算以及打钻深度的计算。

4.如权利要求1所述的基于视觉校准的煤矿钻锚机器人钻孔精确定位方法，其特征在于：所述雷达测距传感器包括前侧雷达测距传感器、后侧雷达测距传感器、左侧雷达测距传感器、右侧雷达测距传感器、内部雷达测距传感器，前、后两侧传感器检测钻锚机器人与掘进工作面其它设备之间的距离，左、右两侧传感器检测钻锚机器人与两侧巷壁的距离，内部传感器检测钻锚机器人与内部设备的距离。

5.如权利要求1所述的基于视觉校准的煤矿钻锚机器人钻孔精确定位方法，其特征在于：所述光电编码器包括左侧履带光电编码器和右侧履带光电编码器，分别检测两侧行走机构的位移信息，将所检测到的误差发送主控制器，实现行走机构的半闭环控制系统；顶板钻机第一编码器、顶板钻机第二编码器、顶板钻机角位移传感器实现顶板钻机位移及角位移的检测；侧帮钻机第一编码器、侧帮钻机第二编码器、侧帮钻机角位移传感器实现侧帮钻机位移及角位移的检测，所有传感器的输出接口均与控制器的输入接口相连。

6.如权利要求1所述的基于视觉校准的煤矿钻锚机器人钻孔精确定位方法，其特征在于：所述视觉传感器用于图像采集，配合机载激光提取距离信息，为钻机精确对准锚网中心孔点做基础；距离信息为坐标转换解算运动参数做基础，同时采用图像处理算法和坐标转换算法实现图像处理过程中精确提取网孔中心点坐标信息的目的。