CN115719296A - 一种基于单目视觉的钢带钻孔定位方法、系统及装置 - Google Patents

Abstract

本发明涉及一种基于单目视觉的钢带钻孔定位方法、系统及装置，涉及计算机视觉和钢带钻孔定位技术领域，方法包括：获取待处理图像；从待处理图像中提取线激光图像特征，并对线激光图像特征进行处理，以得到钢带特征图；根据钢带特征图对待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组；从待处理图像中提取光斑图像特征，并对光斑图像特征进行预处理，以得到光斑特征图；采用椭圆拟合提取光斑特征图的光斑中心，以得到光斑数据组；根据钢带钻孔中心数据和光斑数据组，计算所述钢带上钻孔的位姿，进而控制钻臂移动至钢带钻孔位置。本发明提高了钢带钻孔定位精度。

Description

一种基于单目视觉的钢带钻孔定位方法、系统及装置

技术领域

本发明涉及计算机视觉和钢带钻孔定位技术领域，特别是涉及一种基于单目视觉的钢带钻孔定位方法、系统及装置。

背景技术

随着各种智能化综采设备的研发与应用，煤矿开采能力和效率得到了大幅提升，但是由于煤矿巷道掘进技术仍处在机械化阶段，会导致采掘效率严重失衡，进而导致煤矿行业普遍出现了采快掘慢的问题。因此，智能掘进、减人提效是当前煤炭开采行业发展的趋势。基于此，煤矿巷道的支护工作对于巷道掘进和钻锚设备动作的协调性、准确性和快速性都提出了较高的要求，对相关施工人员的技术水平和身体素质提出了更高的挑战，但却进一步拖慢了巷道掘进的效率，呈现出掘快支慢的问题。

为了解决掘进工作面掘快支慢的问题，行业中渐渐出现了基于双目视觉的钢带钻孔定位方案及系统，提高了支护效率，减轻了工人的劳动强度。但是，煤矿井下低照度和弱纹理的工作环境对基于视觉的定位方案产生了强烈的撼动，并且双目视觉固定的基线距离和较高的计算复杂度也影响了其定位的精度和实时性。

发明内容

本发明的目的是提供一种基于单目视觉的钢带钻孔定位方法、系统及装置，解决煤矿井下的低照度、弱纹理环境对视觉定位的影响，提高钢带钻孔定位精度。

为实现上述目的，本发明提供了如下方案：

第一方面，本发明提供了一种基于单目视觉的钢带钻孔定位方法，包括：

获取待处理图像；所述待处理图像中包含巷道煤壁、钢带、线激光束和多个光斑；所述钢带放置于所述巷道煤壁上，所述钢带上设置有多个钻孔；

从所述待处理图像中提取线激光图像特征，并对所述线激光图像特征进行处理，以得到钢带特征图；

根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组；

从所述待处理图像中提取光斑图像特征，并对所述光斑图像特征进行预处理，以得到光斑特征图；

采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组；

根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿；

根据所述钢带上钻孔在相机坐标系下的位姿，控制钻臂移动至钢带钻孔位置。

可选地，根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组，具体包括：

根据所述钢带特征图对所述待处理图像进行基于拉普拉斯算子的图像增强处理，以确定初步增强图像；

对所述初步增强图像进行阈值处理，以确定钢带钻孔轮廓图像；

对所述钢带钻孔轮廓图像进行椭圆拟合，以确定钢带钻孔中心在像素坐标系下的像素坐标；

对所述钢带钻孔中心在像素坐标系下的像素坐标进行坐标系转换，以确定钢带钻孔中心在对应图像坐标系下的图像坐标；所述钢带钻孔中心在对应图像坐标系下的图像坐标构成钢带钻孔中心数据组。

可选地，对所述光斑图像特征进行预处理，以得到光斑特征图，具体包括：

对所述光斑图像特征依次进行金字塔降采样处理、二值化分割处理、Canny边缘检测处理和金字塔上采样处理，以得到光斑特征图；

所述采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组，具体包括：

采用基于霍夫变换的椭圆拟合提取所述光斑特征图的光斑中心，以确定多个光斑中心点；

将多个所述光斑中心点按第一顺序排序；所述第一顺序为顺时针或者逆时针；

针对排序后的相邻两个光斑中心点，确定两个光斑中心点之间的中间点；所述中间点位于相邻两个光斑中心点的连线上；多个所述光斑中心点和多个所述中间点构成光斑数据组。

可选地，根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿，具体包括：

根据所述光斑数据组中的光斑中心点，计算第一平移向量；所述第一平移向量为从相机坐标系到巷道煤壁坐标系的平移向量；

根据所述光斑数据组中的中间点，计算第一旋转矩阵；所述第一旋转矩阵为从所述相机坐标系到所述巷道煤壁坐标系的旋转矩阵；

根据所述钢带钻孔中心数据组，计算第二平移向量；所述第二平移向量为钢带钻孔坐标系到所述巷道煤壁坐标系的平移向量；

根据所述第一平移向量、所述第一旋转矩阵和所述第二平移向量，计算所述钢带上钻孔在相机坐标系下的位姿。

可选地，根据所述第一平移向量、所述第一旋转矩阵和所述第二平移向量，计算所述钢带上钻孔在相机坐标系下的位姿，具体包括：

根据公式

T_HC＝T_HW·T_WC

计算钢带上钻孔在相机坐标系下的位姿；

其中，T_HC表示钢带上钻孔在相机坐标系下的位姿，T_WC表示巷道煤壁坐标系在相机坐标系下的位姿，T_HW表示钢带钻孔坐标系在巷道煤壁坐标系下的位姿，

R_WC表示第一旋转矩阵，t_WC表示第一平移向量，t_HW表示第二平移向量，

可选地，根据所述光斑数据组中的光斑中心点，计算第一平移向量，具体包括：

根据公式

计算第一平移向量；

其中，t_WC表示第一平移向量，

a表示排序后的相邻两个光斑中心点之间的距离的一半，f表示拍摄待处理图像的相机的焦距，OA′₁表示点O与点A′₁之间的距离，OC′₁表示点O与点C′₁之间的距离，点O为所述光斑特征图在相机坐标系下的原点，点A′₁表示所述光斑数据组中的一个光斑中心点，点C′₁表示所述光斑数据组中与点A′₁不相邻的另一个光斑中心点。

可选地，根据所述光斑数据组中的中间点，计算第一旋转矩阵，具体包括：

根据公式

计算第一旋转矩阵；

其中，R_WC表示第一旋转矩阵，

表示点E₁在巷道煤壁坐标系下的X坐标，点E₁表示光斑数据组中的任一中间点在巷道煤壁坐标系下的映射点，

表示点E₂在巷道煤壁坐标系下的X坐标，点E₂表示光斑数据组中的另一中间点在巷道煤壁坐标系下的映射点，

表示点F₁在巷道煤壁坐标系下的Y坐标，点F₁表示光斑数据组中的另一中间点在巷道煤壁坐标系下的映射点，

表示点E₁在相机坐标系下的Z坐标，

表示点E₂在相机坐标系下的Z坐标，

表示点F₁在相机坐标系下的Z坐标，a表示排序后的相邻两个光斑中心点之间的距离的一半。

可选地，根据所述钢带钻孔中心数据组，计算第二平移向量，具体包括：

根据公式

计算第二平移向量；

其中，

表示钢带钻孔坐标系的原点在巷道煤壁坐标系下的X坐标，

表示钢带钻孔坐标系的原点在巷道煤壁坐标系下的Y坐标，H表示钢带的厚度。

第二方面，本发明提供了一种基于单目视觉的钢带钻孔定位系统，包括：

图像获取模块，用于获取待处理图像；所述待处理图像中包含巷道煤壁、钢带、线激光束和多个光斑；所述钢带放置于所述巷道煤壁上，所述钢带上设置有多个钻孔；

钢带特征提取模块，用于从所述待处理图像中提取线激光图像特征，并对所述线激光图像特征进行处理，以得到钢带特征图；

钢带数据计算模块，用于根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组；

光斑特征提取模块，用于从所述待处理图像中提取光斑图像特征，并对所述光斑图像特征进行预处理，以得到光斑特征图；

光斑数据计算模块，用于采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组；

钻孔位姿计算模块，用于根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿；

钻臂运动控制模块，用于根据所述钢带上钻孔在相机坐标系下的位姿，控制钻臂移动至钢带钻孔位置。

第三方面，本发明提供了一种基于单目视觉的钢带钻孔定位装置，所述钢带钻孔定位装置设置在钻锚机器人上，所述钢带钻孔定位装置包括循环线激光发射组件、点激光发射组件、单目图像采集组件和数据处理及运动控制部件；

所述循环线激光发射组件设置于所述钻锚机器人的上方，所述循环线激光发射组件用于向巷道煤壁和钢带循环投射线激光束；所述钢带放置于所述巷道煤壁上，所述钢带上设置有多个钻孔；

所述点激光发射组件和所述单目图像采集组件均设置于所述钻锚机器人的钻臂上；所述点激光发射组件用于向所述巷道煤壁和所述钢带投射多个光斑；

所述单目图像采集组件用于采集待处理图像；所述待处理图像中包含所述巷道煤壁、所述钢带、所述线激光束和多个所述光斑；

所述数据处理及运动控制部件与所述单目图像采集组件连接，所述数据处理及运动控制部件用于执行第一方面所述的基于单目视觉的钢带钻孔定位方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种基于单目视觉的钢带钻孔定位方法、系统及装置，首先获取包含巷道煤壁、钢带、线激光束和多个光斑的待处理图像。从待处理图像中提取线激光图像特征，并对线激光图像特征进行处理，得到钢带特征图；根据钢带特征图对待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组；通过对待处理图像进行上述线激光图像特征提取和图像增强处理，能够解决煤矿井下弱纹理、低照度工况环境对视觉定位的影响，且使得钢带和钻孔的识别更加快速和精确。从待处理图像中提取光斑图像特征，并对光斑图像特征进行预处理，得到光斑特征图；采用椭圆拟合提取所述光斑特征图的光斑中心，得到光斑数据组；进而根据已确定出的钢带钻孔中心数据组和光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿，从而将待处理图像中的线激光特征与光斑特征融合，共同协作实现对钢带钻孔的定位解算，提高定位精度，降低计算复杂度。最后，根据得到的钢带上钻孔在相机坐标系下的位姿，控制钻臂移动至钢带钻孔位置，完成钻锚作业。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于单目视觉的钢带钻孔定位方法的流程示意图；

图2为本发明中钢带钻孔位姿解算模型坐标系示意图；

图3为本发明第一平移向量t_WC求解模型示意图；

图4为本发明第一旋转矩阵R_WC求解模型示意图1；

图5为本发明第一旋转矩阵R_WC求解模型示意图2；

图6为本发明第二平移向量t_HW求解模型示意图；

图7为本发明基于单目视觉的钢带钻孔定位系统的工作流程图；

图8为本发明基于单目视觉的钢带钻孔定位装置的结构示意图；

图9为本发明中循环线激光发射组件的结构示意图；

图10为点激光发射组件和单目图像采集组件的结构示意图。

符号说明：

1-光斑，2-激光发射采集组件，21-相机防爆玻璃，22-相机前侧防爆壳，23-点激光发射器防爆玻璃，24-高清工业相机，25-开关电源，26-点激光发射器，27—相机后侧防爆壳，3—钻臂，4—钻锚机器人，5—循环线激光发射组件，51—上侧防爆壳，52—防爆玻璃，53—下侧防爆壳，54—驱动电机，55—线激光发射器，56—双面反光镜，6—数据处理及运动控制部件，7—线激光束，8—钢带，9—钻孔。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于单目视觉的钢带钻孔定位方法、系统及装置，在煤矿井下低照度与弱纹理的工作环境中具有良好的表现，并且结构简单，定位精确，具有良好的推广价值。

为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1所示，本实施例提供一种基于单目视觉的钢带钻孔定位方法，包括：

步骤100，获取待处理图像；所述待处理图像中包含巷道煤壁、钢带、线激光束和多个光斑；所述钢带放置于所述巷道煤壁上，所述钢带上设置有多个钻孔。具体地，通过循环线激光发射组件中的线激光发射器向巷道煤壁上投射绿色的线激光束，通过点激光发射组件中的点激光发射器向巷道煤壁上投射红色点激光光斑，对应地，待处理图像中被线激光束覆盖的部分为绿色，待处理图像中被点激光光斑覆盖的部分为红色。

步骤200，从所述待处理图像中提取线激光图像特征，并对所述线激光图像特征进行处理，以得到钢带特征图。

优选地，步骤200具体包括：

(1)从所述待处理图像中提取线激光图像特征：

从待处理图像(RGB图像)中分离出G通道图像，以突出线激光特征，降低其他特征的干扰，为后续步骤奠定基础。

(2)对所述线激光图像特征进行处理，以得到钢带特征图：

1)对所述线激光图像特征依次进行金字塔降采样处理、低通滤波处理、中值滤波处理、二值化分割处理、形态学开运算处理和金字塔上采样处理，以得到初步预处理图像。

具体地，金字塔降采样处理的步骤，包括：

使用尺寸为K的卷积核对步骤(1)中的G通道图像进行高斯平滑处理，然后再进行重采样处理，以去除图像中的偶数行和偶数列，得到尺寸为原来一半的新图像。其中，采用金字塔降采样将图像的尺寸缩小一倍，能够降低后续步骤中对图像像素遍历的次数，降低后续算法的处理时间，提升算法实时性；而高斯平滑处理能够降低图像金字塔降采样后的拼接感，使得重采样之后的图像更加精准、自然。

低通滤波处理的步骤，包括：

使用截止频率为D₀梯形低通滤波器滤除高频噪声，去除巷道煤壁上的杂光干扰。进行此步骤的原因在于：钢带表面较为平整，图像灰度变化率较小，而巷道煤壁表面粗糙，图像灰度变化率较大，因此需要进行低通滤波处理。

中值滤波处理的步骤，包括：

以K₀×K₀区域内(K₀为奇数)像素灰度值的中值作为区域中心点的灰度值，初步滤除图像中的杂点，增强图像质量。

二值化分割处理的步骤，包括：

遍历经过中值滤波处理后的图像的所有像素，将其中灰度大于或等于设定阈值Threshold的像素初步认定为钢带区域，将其灰度值置为255，否则将其灰度值置为0，输出二值化图像。具体地，考虑到钢带表面光滑，对光线的漫反射较少，图像灰度级较高，而巷道煤壁表面粗糙，漫反射严重，图像灰度级较低，因此进行二值化分割处理。

形态学开运算处理，包括：

对图像先腐蚀后膨胀，进行形态学开运算操作，进一步滤除图像中的边缘杂点。

金字塔上采样处理，包括：

对经过形态学开运算处理后的图像进行金字塔上采样，使图像恢复原有尺寸，得到初步预处理图像。

2)对所述初步预处理图像依次进行图像区域连通处理和图像轮廓检测处理，以确定钢带特征图。

具体地，使用M₀×N₀大小的窗口在初步预处理图像上移动搜索，若窗口区域中任意一点的像素灰度值不为零，则将整个窗口区域置为255，使图像区域连通。再对连通的图像区域进行轮廓检测，获得轮廓边界矩形的左上角坐标(X₀，Y₀)和矩形的宽高W₀，H₀，以确定钢带特征图，钢带特征图上记录有钢带区域在图像中的位置和大小。

步骤300，根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据。

步骤300，具体包括：

(1)根据所述钢带特征图对所述待处理图像进行基于拉普拉斯算子的图像增强处理，以确定初步增强图像。具体地，在原图像(待处理图像)中对钢带特征图确定的钢带区域进行基于拉普拉斯算子的图像增强处理，并将钢带区域之外的各个像素点全部置为零。

(2)对所述初步增强图像进行二值化分割处理，以确定钢带钻孔轮廓图像。

(3)对所述钢带钻孔轮廓图像进行椭圆拟合，以确定钢带钻孔中心在像素坐标系下的像素坐标。具体地，采用基于霍夫变换的椭圆拟合，提取钢带钻孔中心的像素坐标。

(4)对所述钢带钻孔中心在像素坐标系下的坐标进行坐标系转换，以确定钢带钻孔中心在对应图像坐标系下的坐标；所述钢带钻孔中心在对应图像坐标系下的坐标构成钢带钻孔中心数据组。具体地，通过公式

将钢带钻孔中心在像素坐标系下的坐标转换到对应的图像坐标系，并将其保存在钢带钻孔中心数据组vectorA中。其中，u，v为钢带钻孔中心在像素坐标系下的坐标，x，y为钢带钻孔中心在图像坐标下的坐标，K为相机的内参矩阵，

步骤400，从所述待处理图像中提取光斑图像特征，并对所述光斑图像特征进行预处理，以得到光斑特征图。

优选地，步骤400，具体包括：

(1)从所述待处理图像中提取光斑图像特征：

从原RGB图像(待处理图像)中分离出R通道图像，突出红色点激光光斑特征，降低其他特征的干扰，为后续步骤奠定基础。

(2)对所述光斑图像特征进行预处理，以得到光斑特征图：

对所述光斑图像特征依次进行金字塔降采样处理、二值化分割处理、Canny边缘检测处理和金字塔上采样处理，以得到光斑特征图。

具体地，金字塔降采样处理的步骤，包括：

使用尺寸为K的卷积核对步骤(1)中的R通道图像进行高斯平滑处理，然后再对图像重采样，去除图像中的偶数行和偶数列，得到尺寸为原来一半的新图像，以降低后续算法的处理时间，提升算法的实时性。

二值化分割处理的步骤，包括：

遍历经过第二金字塔降采样处理后图像的所有像素，将其中灰度大于或等于设定阈值Threshold的像素初步认定为红色激光光斑区域，将其灰度值置为255，否则将其灰度值置为0，输出二值化图像。

Canny边缘检测处理的步骤，包括：

使用尺寸为K₁的卷积核对经过第二二值化分割处理后得到的二值化图像进行高斯滤波处理，然后使用Sobel算子求取每个像素的梯度大小及其方向，最后通过非极大值抑制和双阈值筛选，检测出图像的边缘轮廓。

金字塔上采样处理的步骤，包括：

对经过Canny边缘检测处理后的轮廓图像进行金字塔上采样，使图像恢复原有尺寸，以得到光斑特征图。

步骤500，采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组。优选地，步骤500，具体包括：

(1)采用基于霍夫变换的椭圆拟合提取所述光斑特征图中的光斑中心，以确定多个光斑中心点。

(2)将多个所述光斑中心点按第一顺序排序；所述第一顺序为顺时针或者逆时针。具体地，采用基于霍夫变换的椭圆拟合提取待处理图像中的四个光斑中心并从左上角按顺时针方向分别记为A′₁，B′₁，C′₁和D′₁点，并确定四个光斑中心在像素坐标系下的坐标。

(3)针对排序后的相邻两个光斑中心点，确定两个光斑中心点之间的中间点；所述中间点位于相邻两个光斑中心点的连线上；多个所述光斑中心点和多个所述中间点构成光斑数据组。具体地，选取线段B′₁C′₁的中点作为中间点，并记为E′₁；取线段C′₁D′₁的中点作为中间点，并记为E′₂；取线段B′₁C′₁的中点作为中间点，并记为F′₁。在一个具体实施例中，中间点可以选取线段中的任意一点。将A′₁，B′₁，C′₁，D′₁，E′₁，E′₂和F′₁的像素坐标转换成图像坐标，并保存在光斑数据组vectorB中，具体的像素坐标转换图像坐标的步骤可参见上文中对对钢带钻孔中心坐标进行转换的步骤。

步骤600，根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿。

如图2所示，首先建立钢带钻孔位姿解算模型坐标系。其中，为了便于分析和描述，在相机光心位置建立相机坐标系O_CX_CY_CZ_C；原点为相机光心，X轴向右，Y轴向下，Z轴沿光轴向前。在红色激光光斑四边形(即由点A₁B₁C₁D₁四个实际激光光斑组成的四边形)的中心建立巷道煤壁坐标系O_WX_WY_WZ_W；所述巷道煤壁坐标系的原点为红色激光光斑四边形的中心，X轴向右，Y轴向下，Z轴指向煤壁内部。在实际的钢带钻孔中心位置建立钢带钻孔坐标系O_HX_HY_HZ_H；所述钢带钻孔坐标系的原点为钢带钻孔中心，X轴向右，Y轴向下，Z轴指向煤壁内部。

根据图2能够显然得知，相机坐标系O_CX_CY_CZ_C到煤壁坐标系O_WX_WY_WZ_W的第一旋转矩阵R_WC中绕Z轴的旋转分量γ_WC＝0，第一平移向量t_WC中沿X和Y方向的平移分量X_WC＝0，Y_WC＝0。假设巷道煤壁局部平整度较好，则煤壁坐标系O_WX_WY_WZ_w到钢带钻孔坐标系O_HX_HY_HZ_H的第二旋转矩阵R_HW的各个角度分量都为0，因此第二旋转矩阵为单位矩阵，且第二旋转矩阵为所述钢带钻孔坐标系到所述巷道煤壁坐标系的旋转矩阵；第二平移向量t_HW中沿X、Y、Z方向的平移分量分别为

和-H。其中，H表示钢带的厚度。

进一步地，步骤600，具体包括：

1)根据所述光斑数据组中的光斑中心点，计算第一平移向量t_WC；所述第一平移向量为相机坐标系到巷道煤壁坐标系的平移向量。

读取光斑数据组vectorB中存储的光斑中心点A′₁和C′₁在图像坐标系下的坐标，分别计算二者到原点O(相机坐标系下的原点)的距离：

如图3所示，结合上文中建立的钢带钻孔位姿解算模型坐标系，在三角形O_CA₁C₁中，由三角形相似有

并且

其中，A₁、B₁、C₁、D₁、E₁、E₂、F₁分别为A′₁，B′₁，C′₁，D′₁，E′₁，E′₂和F′₁在巷道煤壁坐标系下的映射点，为实际照射在巷道煤壁上的光斑点。

联立上述三式，可以确定第一平移向量在Z方向的分量Z_WC为：

基于此，根据公式

计算得到相机坐标系O_CX_CY_CZ_C到巷道煤壁坐标系O_WX_WY_WZ_W的第一平移向量t_WC。

其中，a表示排序后的相邻两个光斑中心点之间的距离的一半，f表示拍摄待处理图像相机的焦距，OA′₁表示原点O与点A′₁之间的距离，OC′₁表示原点O与点C′₁之间的距离，点O为所述光斑特征图在相机坐标系下的原点，点A′₁表示所述光斑数据组中的一个光斑中心点，点C′₁表示所述光斑数据组中与点A′₁不相邻的另一个光斑中心点。

2)根据所述光斑数据组中的中间点，计算第一旋转矩阵R_WC；所述第一旋转矩阵为所述相机坐标系到所述巷道煤壁坐标系的旋转矩阵。

读取光斑数据组vectorB中存储的中间点E′₁、E′₂和F′₁的坐标，分别计算E′₁到y轴、E′₂到y轴和F′₁到x轴的距离：

如图4所示，结合上文中建立的钢带钻孔位姿解算模型坐标系，在三角形O_CO_WE₁中，有

因此，E₁点在巷道煤壁坐标系O_WX_WY_WZ_W下的坐标为

E₁点在相机坐标系O_CX_CY_CZ_C下的坐标为

在三角形O_CO_WE₂中，有

因此，E₂点在巷道煤壁坐标系O_WX_WY_WZ_W下的坐标为

E₂点在相机坐标系O_CX_CY_CZ_C下的坐标为

如图5所示，在三角形O_CO_WF₁中，有

因此，F₁点在巷道煤壁坐标系O_WX_WY_WZ_W下的坐标为

F₁点在相机坐标系O_CX_CY_CZ_C下的坐标为

综上，由E₁、E₂和F₁的三组对应坐标，可得

因此可得第一旋转矩阵R_WC为：

其中，R_WC表示第一旋转矩阵，

表示点E₁在巷道煤壁坐标系下的X坐标，点E₁表示光斑数据组中的任一中间点在巷道煤壁坐标系下的映射点，

表示E₂在巷道煤壁坐标系下的X坐标，点E₂表示光斑数据组中的另一中间点在巷道煤壁坐标系下的映射点，

表示点F₁在巷道煤壁坐标系下的Y坐标，点F₁表示光斑数据组中的另一中间点在巷道煤壁坐标系下的映射点，

表示点E₁在相机坐标系下的Z坐标，

表示点E₂在相机坐标系下的Z坐标，

表示点F₁在相机坐标系下的Z坐标，a表示排序后的相邻两个光斑中心点之间的距离的一半。

在本发明涉及的基于单目视觉的钢带钻孔定位方法提及的位姿解算模型中，a也被用于限制E₁、E₂在相机坐标系下的X坐标和F₁在相机坐标系下的Y坐标。另外，点E₁、点E₂与点F₁为不同的中间点。

3)根据所述钢带钻孔中心数据组，计算第二平移向量；所述第二平移向量为从所述钢带钻孔坐标系到所述巷道煤壁坐标系的平移向量。

读取钢带钻孔数据组vectorA中存储的钢带钻孔中心数据在图像坐标系下的坐标

如图6所示，在

中，钢带钻孔坐标系O_HX_HY_HZ_H原点在巷道煤壁坐标系O_WX_WY_WZ_W下的X坐标为：

其中：

从O_H向X_WO_WY_W坐标平面作垂线，再从垂足向Y_W作垂线，垂足为H₁，在

中，有钢带钻孔坐标系O_HX_HY_HZ_H原点在巷道煤壁坐标系O_WX_WY_WZ_W下的Y坐标为：

其中：

因此，钢带钻孔坐标系O_HX_HY_HZ_H相对于岩壁坐标系O_WX_WY_WZ_W的第二平移向量为：

4)根据所述第一平移向量、所述第一旋转矩阵和所述第二平移向量，计算得到所述钢带上钻孔在相机坐标系下的位姿。具体地，

根据公式

T_HC＝T_HW·T_WC

计算钢带上钻孔在相机坐标系下的位姿。

其中，T_HC表示钢带上钻孔在相机坐标系下的位姿，T_WC表示巷道煤壁坐标系在相机坐标系下的位姿，T_HW表示钢带上钻孔在煤壁坐标系下的位姿，并且

R_WC表示第一旋转矩阵，t_WC表示第一平移向量，t_HW表示第二平移向量，R_HW表示第二旋转矩阵，并且

步骤700，根据所述钢带上钻孔在相机坐标系下的位姿，控制钻臂移动至钢带钻孔位置。具体地，根据相机到钢带钻孔的位姿变换矩阵反解出钻锚机器人的钻臂上每个关节的运动量，进而控制钻臂移动到钢带钻孔位置，完成钻锚作业。

本发明以巷道煤壁作为桥梁，先通过投射到煤壁上的红色激光光斑图像确定煤壁坐标系在相机坐标系下的位置关系，再通过图像中红色激光光斑与钻孔中心的相对位置，精准地确定出钢带钻孔在相机坐标下的位姿，进而控制钻臂移动到钢带钻孔位置，完成钻锚作业，其整个过程促进了煤矿开采的自动化和智能化。

实施例二

如图7所示，本实施例提供一种基于单目视觉的钢带钻孔定位系统，包括：

图像获取模块101，用于获取待处理图像；所述待处理图像中包含巷道煤壁、钢带、线激光束和多个光斑；所述钢带放置于所述巷道煤壁上，所述钢带上设置有多个钻孔。

钢带特征提取模块201，用于从所述待处理图像中提取线激光图像特征，并对所述线激光图像特征进行处理，以得到钢带特征图。

钢带数据计算模块301，用于根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组。

光斑特征提取模块401，用于从所述待处理图像中提取光斑图像特征，并对所述光斑图像特征进行预处理，以得到光斑特征图。

光斑数据计算模块501，用于采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组。

钻孔位姿计算模块601，用于根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿。

钻臂运动控制模块701，用于根据所述钢带上钻孔在相机坐标系下的位姿，控制钻臂移动至钢带钻孔位置。具体地，根据相机到钢带钻孔的位姿变换矩阵T_HC反解出钻锚机器人的钻臂上每个关节的运动量，进而控制钻臂移动到钢带钻孔位置，完成钻锚作业。

实施例三

如图8所示，本实施例提供一种基于单目视觉的钢带钻孔定位装置，所述钢带钻孔定位装置设置在钻锚机器人4上，所述钢带钻孔定位装置包括循环线激光发射组件5、点激光发射组件、单目图像采集组件和数据处理及运动控制部件6。

所述循环线激光发射组件5设置于所述钻锚机器人4的上方，所述循环线激光发射组件5用于向巷道煤壁和钢带8循环投射线激光束7；所述钢带8放置于所述巷道煤壁上，所述钢带8上设置有多个钻孔9。

所述点激光发射组件和所述单目图像采集组件均设置于所述钻锚机器人4的钻臂上，在一个具体实施例中，将点激光发射组件和单目图像采集组件集成为激光发射采集组件2；所述点激光发射组件用于向所述巷道煤壁和所述钢带8投射多个光斑1。所述单目图像采集组件用于采集待处理图像；所述待处理图像中包含所述巷道煤壁、所述钢带8、所述线激光束7和多个所述光斑1。

所述数据处理及运动控制部件6与所述单目图像采集组件连接，所述数据处理及运动控制部件6中的数据处理程序用于执行实施例一所述的基于单目视觉的钢带钻孔定位方法。

具体地，如图9所示，循环线激光发射组件5包括线激光发射器55、双面反光镜56、驱动电机54和线激光发射模块防爆外壳。其中，线激光发射模块防爆外壳包括上侧防爆壳51、防爆玻璃52和下侧防爆壳53；所述防爆玻璃52镶嵌在上侧防爆壳51的上部，上侧防爆壳51与下侧防爆壳53通过螺栓固定连接。两个线激光发射器55相向安装于下侧防爆壳53的内部两侧，向双面反光镜56发射绿色的线激光束7。双面反光镜56通过轴承安装于下侧防爆壳53的内部上侧，且与线激光发射器55处于同一高度位置。驱动电机54与双面反光镜56的轴通过联轴器连接，驱动双面反光镜56绕轴转动。双面反光镜56每旋转一周，可反射线激光束7在巷道扫描四次。

如图10所示，单目图像采集组件包括相机防爆外壳、高清工业相机24和开关电源25三个部分。其中，所述相机防爆外壳包括相机防爆玻璃21、相机前侧防爆壳22、相机后侧防爆壳27和点激光发射器防爆玻璃23。相机防爆玻璃21镶嵌在相机前侧防爆壳22前端，所述点激光发射器防爆玻璃23镶嵌在相机前侧防爆壳22后端连接座上。相机后侧防爆壳27上设置有相机安装悬臂梁和点激光发射器安装卡槽，相机前侧防爆壳22和相机后侧防爆壳27通过连接座上的螺栓紧固连接。

高清工业相机24和开关电源25分别固定安装在相机后侧防爆壳上相机安装悬臂梁的前端和后端，高清工业相机24主要完成待处理图像的采集，开关电源25为高清工业相机24和点激光发射组件提供稳定的电能供应。

进一步地，点激光发射组件包括四个点激光发射器26，四个点激光发射器26固定安装于相机后侧防爆壳27上设置的点激光发射器卡槽内。如图10所示，四个点激光发射器26均匀对称分布于高清工业相机的四角，且任意两相邻点激光发射器之间的距离为2a。

优选地，如图8中所示，激光发射采集组件2通过相机前侧防爆壳22底部的螺栓固定连接于钻锚机器人4的钻臂3的前端。其中，点激光发射组件向巷道煤壁投射红色点激光的光斑1，光斑用于确定相机和煤壁的相对位置。循环线激光发射组件5向上安装于钻锚机器人4机身上方，向巷道煤壁和巷道煤壁上的钢带快速循环投射绿色的线激光束7；数据处理及运动控制部件6安装于钻锚机器人4尾部平台上，完成钻孔定位和运动控制任务。

在一个具体实施例中，基于单目视觉的钢带钻孔定位装置的工作过程如下：

点激光发射组件中的点激光发射器26投射红色点激光束，以在巷道上形成红色激光光斑，通过红色激光光斑能够确定相机和煤壁的相对位置；循环线激光发射组件中的线激光发射器55向巷道煤壁循环发射绿色的线激光束；通过单目图像采集组件以软触发的方式采集包含钢带、红色点激光和绿色线激光束的巷道图像。进而，通过数据处理及运动控制部件中的数据处理程序依次实现如实施例一中记载的图像处理、图像增强和钻孔定位，输出钢带钻孔在相机坐标系下的位姿。最后，数据处理及运动控制部件中的运动控制程序根据钢带钻孔在相机坐标系下的位姿反解出钻锚机器人的钻臂上每个关节的运动量，进而控制钻臂移动到钢带钻孔位置，完成钻锚作业。

相对于现有技术，本发明还具有以下优点：

本发明针对煤矿井下低照度和弱纹理的工作环境提出了一种基于单目视觉的钢带钻孔定位方法、系统及装置，使钢带和钻孔的识别更加快速和精确。与现有的基于双目视觉的钢带钻孔定位方案相比，本发明采用单目视觉完成钢带钻孔的定位，极大地增加了定位的实时性，同时也具有较高的定位精度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于单目视觉的钢带钻孔定位方法，其特征在于，所述基于单目视觉的钢带钻孔定位方法包括：

获取待处理图像；所述待处理图像中包含巷道煤壁、钢带、线激光束和多个光斑；所述钢带放置于所述巷道煤壁上，所述钢带上设置有多个钻孔；

从所述待处理图像中提取线激光图像特征，并对所述线激光图像特征进行处理，以得到钢带特征图；

根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组；

从所述待处理图像中提取光斑图像特征，并对所述光斑图像特征进行预处理，以得到光斑特征图；

采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组；

根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿；

根据所述钢带上钻孔在相机坐标系下的位姿，控制钻臂移动至钢带钻孔位置。

2.根据权利要求1所述的基于单目视觉的钢带钻孔定位方法，其特征在于，根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组，具体包括：

根据所述钢带特征图对所述待处理图像进行基于拉普拉斯算子的图像增强处理，以确定初步增强图像；

对所述初步增强图像进行阈值处理，以确定钢带钻孔轮廓图像；

对所述钢带钻孔轮廓图像进行椭圆拟合，以确定钢带钻孔中心在像素坐标系下的像素坐标；

对所述钢带钻孔中心在像素坐标系下的像素坐标进行坐标系转换，以确定钢带钻孔中心在对应图像坐标系下的图像坐标；所述钢带钻孔中心在对应图像坐标系下的图像坐标构成钢带钻孔中心数据组。

3.根据权利要求1所述的基于单目视觉的钢带钻孔定位方法，其特征在于，对所述光斑图像特征进行预处理，以得到光斑特征图，具体包括：

对所述光斑图像特征依次进行金字塔降采样处理、二值化分割处理、Canny边缘检测处理和金字塔上采样处理，以得到光斑特征图；

所述采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组，具体包括：

采用基于霍夫变换的椭圆拟合提取所述光斑特征图的光斑中心，以确定多个光斑中心点；

将多个所述光斑中心点按第一顺序排序；所述第一顺序为顺时针或者逆时针；

针对排序后的相邻两个光斑中心点，确定两个光斑中心点之间的中间点；所述中间点位于相邻两个光斑中心点的连线上；多个所述光斑中心点和多个所述中间点构成光斑数据组。

4.根据权利要求3所述的基于单目视觉的钢带钻孔定位方法，其特征在于，根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿，具体包括：

根据所述光斑数据组中的光斑中心点，计算第一平移向量；所述第一平移向量为从相机坐标系到巷道煤壁坐标系的平移向量；

根据所述光斑数据组中的中间点，计算第一旋转矩阵；所述第一旋转矩阵为从所述相机坐标系到所述巷道煤壁坐标系的旋转矩阵；

根据所述钢带钻孔中心数据组，计算第二平移向量；所述第二平移向量为钢带钻孔坐标系到所述巷道煤壁坐标系的平移向量；

根据所述第一平移向量、所述第一旋转矩阵和所述第二平移向量，计算所述钢带上钻孔在相机坐标系下的位姿。

5.根据权利要求4所述的基于单目视觉的钢带钻孔定位方法，其特征在于，根据所述第一平移向量、所述第一旋转矩阵和所述第二平移向量，计算所述钢带上钻孔在相机坐标系下的位姿，具体包括：

根据公式

T_HC＝T_HW·T_WC

计算钢带上钻孔在相机坐标系下的位姿；

其中，T_HC表示钢带上钻孔在相机坐标系下的位姿，T_WC表示巷道煤壁坐标系在相机坐标系下的位姿，T_HW表示钢带钻孔坐标系在巷道煤壁坐标系下的位姿，

R_WC表示第一旋转矩阵，t_WC表示第一平移向量，t_HW表示第二平移向量，

6.根据权利要求4所述的基于单目视觉的钢带钻孔定位方法，其特征在于，根据所述光斑数据组中的光斑中心点，计算第一平移向量，具体包括：

根据公式

计算第一平移向量；

其中，t_WC表示第一平移向量，

a表示排序后的相邻两个光斑中心点之间的距离的一半，f表示拍摄待处理图像的相机的焦距，OA'₁表示点O与点A'₁之间的距离，OC'₁表示点O与点C'₁之间的距离，点O为所述光斑特征图在相机坐标系下的原点，点A'₁表示所述光斑数据组中的一个光斑中心点，点C'₁表示所述光斑数据组中与点A'₁不相邻的另一个光斑中心点。

7.根据权利要求4所述的基于单目视觉的钢带钻孔定位方法，其特征在于，根据所述光斑数据组中的中间点，计算第一旋转矩阵，具体包括：

根据公式

计算第一旋转矩阵；

其中，R_WC表示第一旋转矩阵，

表示点E₁在巷道煤壁坐标系下的X坐标，点E₁表示光斑数据组中的任一中间点在巷道煤壁坐标系下的映射点，

表示点E₂在巷道煤壁坐标系下的X坐标，点E₂表示光斑数据组中的另一中间点在巷道煤壁坐标系下的映射点，

表示点F₁在巷道煤壁坐标系下的Y坐标，点F₁表示光斑数据组中的另一中间点在巷道煤壁坐标系下的映射点，

表示点E₁在相机坐标系下的Z坐标，

表示点E₂在相机坐标系下的Z坐标，

表示点F₁在相机坐标系下的Z坐标，a表示排序后的相邻两个光斑中心点之间的距离的一半。

8.根据权利要求4所述的基于单目视觉的钢带钻孔定位方法，其特征在于，根据所述钢带钻孔中心数据组，计算第二平移向量，具体包括：

根据公式

计算第二平移向量；

其中，

表示钢带钻孔坐标系的原点在巷道煤壁坐标系下的X坐标，

表示钢带钻孔坐标系的原点在巷道煤壁坐标系下的Y坐标，H表示钢带的厚度。

9.一种基于单目视觉的钢带钻孔定位系统，其特征在于，所述基于单目视觉的钢带钻孔定位系统包括：

图像获取模块，用于获取待处理图像；所述待处理图像中包含巷道煤壁、钢带、线激光束和多个光斑；所述钢带放置于所述巷道煤壁上，所述钢带上设置有多个钻孔；

钢带特征提取模块，用于从所述待处理图像中提取线激光图像特征，并对所述线激光图像特征进行处理，以得到钢带特征图；

钢带数据计算模块，用于根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组；

光斑特征提取模块，用于从所述待处理图像中提取光斑图像特征，并对所述光斑图像特征进行预处理，以得到光斑特征图；

光斑数据计算模块，用于采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组；

钻孔位姿计算模块，用于根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿；

钻臂运动控制模块，用于根据所述钢带上钻孔在相机坐标系下的位姿，控制钻臂移动至钢带钻孔位置。

10.一种基于单目视觉的钢带钻孔定位装置，所述钢带钻孔定位装置设置在钻锚机器人上，其特征在于，所述钢带钻孔定位装置包括循环线激光发射组件、点激光发射组件、单目图像采集组件和数据处理及运动控制部件；

所述循环线激光发射组件设置于所述钻锚机器人的上方，所述循环线激光发射组件用于向巷道煤壁和钢带循环投射线激光束；所述钢带放置于所述巷道煤壁上，所述钢带上设置有多个钻孔；

所述点激光发射组件和所述单目图像采集组件均设置于所述钻锚机器人的钻臂上；所述点激光发射组件用于向所述巷道煤壁和所述钢带投射多个光斑；

所述单目图像采集组件用于采集待处理图像；所述待处理图像中包含所述巷道煤壁、所述钢带、所述线激光束和多个所述光斑；

所述数据处理及运动控制部件与所述单目图像采集组件连接，所述数据处理及运动控制部件用于执行权利要求1-8任一项所述的基于单目视觉的钢带钻孔定位方法。

Images