CN111536955A - 基于v型激光标靶图像识别的掘进机位姿检测系统及方法 - Google Patents

Abstract

本发明公开了基于V型激光标靶图像识别的掘进机位姿检测系统及方法，该系统包括一台十字激光指向仪、一个半透光式V型激光标靶、一台数字摄像机、一台图像处理计算机和一个防尘罩组成。通过在掘进机上安装一个半透光式V型激光标靶，利用巷道内固定安装的十字激光指向仪发射的激光在标靶上形成十字形激光图像，标靶后方的数字摄像机采集标靶上的激光图像，再由图像处理计算机完成图像识别和处理，利用建立的掘进机解算位姿模型，采用空间坐标解算方法获得掘进机的滚转角、俯仰角、偏向角和重心偏移参数，可用于掘进机行进过程中的位置纠偏。本方法安装调试简便，抗干扰能力强，可满足长距离巷道掘进下的掘进机位姿监测要求。

Description

基于V型激光标靶图像识别的掘进机位姿检测系统及方法

技术领域

本发明涉及一种矿用悬臂式掘进机的空间位姿检测系统及方法，属采掘设备应用和机器视觉应用领域。

背景技术

悬臂式掘进机是煤矿井下断面截割和巷道掘进的常用机械。

当前，掘进机的掘进工作主要依靠激光标靶导向以及人工目测和施工经验实现，而综掘工作进行时的大量煤尘和恶劣的照明环境，极易影响工人的视线与决策，最终导致巷道的超挖或欠挖，甚至引发事故造成安全问题。因此，实现掘进机的智能化、自动化掘进工作显得尤为重要，而要实现掘进机的自动化掘进工作首先就要完成对掘进机的空间位姿参数的实时检测。基于图像识别的掘进机空间位姿检测技术，其技术实质就是利用视觉传感器代替人眼来检测和分析周围环境，实现该技术方案，有人工成本低、操作简单、工作效率高等优点。

申请公布号为CN106052645A，发明名称为一种悬臂式掘进机空间位姿实时检测系统及方法的专利采用两台矿用十字激光发射器、两台网络摄像机和两个激光标靶，本发明采用单台矿用十字激光指向仪和单台数字摄像机，节约了设备成本和维修成本，降低了检测系统组建的复杂程度，减小了受井下环境影响硬件设备安装时所带来的误差影响，提高了检测精度；申请公布号为CN110736446A，发明名称为一种悬臂式掘进机位姿识别系统及方法的专利采用两台防爆摄像机和一个由六块长方形透光板材拼接成的中空的长方体结构的激光标靶，掘进机的机身上固定有本安型倾角传感器，安装时结构复杂、成本高，而且该发明激光标靶体积大，不易灵活调整位置，防爆摄像机用于激光标靶的六个表面的实时拍摄，实际实施情况下不易固定，本发明采用了V型激光标靶，安装时可根据实际实施情况灵活调节折角角度与其在掘进机顶部表面位置来对应十字激光指向仪的中心，激光标靶与数字摄像机固定安装于掘进机机身。

发明内容

发明目的:

本发明针对背景技术的不足和工作状况，提出一种基于V型激光标靶图像识别的掘进机位姿检测系统及方法，对掘进机的空间位姿进行检测，使工人能实时观测到掘进机在巷道中的位置状态，从而提高掘进效率和安全性。

本发明的技术方案为：

基于V型激光标靶图像识别的掘进机位姿检测系统及方法，能够实时检测到掘进机的空间位姿参数，包括偏向角α、俯仰角β、滚动角γ和机身重心偏移量(ΔX ΔZ)，在实际工作情况中只需确定左右偏移量ΔX和上下偏移量ΔZ即可。

其中包括：一台十字激光指向仪、一个半透光式V型激光标靶、一台数字摄像机、一个防尘罩、一台图像处理计算机。

在实施方式中，十字激光指向仪，固定安装在掘进巷道入口处，安装后激光指向与掘进方向要求一致，同时发射的十字激光线在巷道空间形成的两个激光平面与巷道水平面都成45°。

在实施方式中，半透光式V型激光标靶，是由2块同样大小的长方形半透光式靶面板材料构成，2块靶面板拼接构成1个带有折角的激光标靶，折角范围为30°～150°，折角范围不同，则相应的面板尺寸根据测量要求进行调整；V型激光标靶可采用内折或外折，立式或平式安装，优选外折立式安装模式；激光标靶固定安装在掘进机机身顶部平面，优选安装在机身中部；初始安装激光标靶时应调整掘进机机身满足在巷道坐标系下滚转角＝0°、俯仰角＝0°、偏向角＝0°、重心偏移量为0；初始安装时，采用优选立式安装的激光标靶两平面都垂直于掘进机机身顶部平面；初始安装完成状态，十字激光指向仪发射的十字激光照射在激光标靶上，十字激光中心在激光标靶的中心位置，十字激光应在激光标靶两个平面形成交叉线的图像。

在实施方式中，数字摄像机，固定安装于掘进机激光标靶的正后方，对准激光标靶采集激光标靶上的十字激光照射形成的图像，安装位姿应完整采集激光标靶图像。

在实施方式中，防尘罩，固定安装于掘进机机身，在V型激光标靶和数字摄像机周围(除激光照射方向外)形成封闭空间，防止粉尘覆盖在数字摄像机镜头表面造成影响。

在实施方式中，图像处理计算机固定安装于掘进机内部，数字摄像机通过网络连接线将激光标靶成像图像输入图像处理计算机，计算出掘进机在巷道坐标系下的空间位姿参数，即掘进机行进过程中的偏向角α、俯仰角β、滚动角γ以及机身上固定一点在巷道截面上的偏移量ΔX和ΔZ。

与已有技术相比，本发明的有益效果是：

用机器视觉技术和悬臂式掘进机的空间位姿检测相结合，减小工人的工作量，克服了人眼观测的局限性提升了测量精度等优点；本发明采用单台十字激光指向仪、单个激光标靶和单台数字摄像机，节约了成本，安装方便，抗干扰性好。

附图说明

附图1为本发明掘进机和设备安装相对位置图；

附图2为本发明巷道坐标系及掘进机机身坐标系模型图；

附图3为本发明激光标靶成像特征点解算示意图；

附图4为本发明激光平面法向量与机身坐标系关系示意图

附图5为本发明十字激光中心线旋转轴的平移变换示意图；

附图6为本发明十字激光中心线旋转轴的旋转变换示意图；

附图7为本发明机身坐标系与巷道坐标系法向量转换示意图；

附图8为本发明机身三个平面与偏向角α、俯仰角β和滚动角γ的转换关系图；

附图9为本发明机身固定一点偏移量解算示意图；

具体实施方式

下面结合附图和具体实施方式对本发明进行详细阐述。

设备安装及模型建立：

本发明的掘进机和设备安装的相对位置如附图1所示，一台十字激光指向仪1，一个激光标靶2，一台数字摄像机3，一个防尘罩4和掘进机机身5。

十字激光指向仪1固定安装在掘进巷道入口处，安装后激光指向与掘进方向要求一致，同时发射的十字激光线在巷道空间形成的两个激光平面与巷道水平面都成45°；激光标靶2安装于掘进机机身5顶部平面中部，十字激光在激光标靶2上的初始成像位于中心位置；数字摄像机3安装于激光标靶的正后方，调整相互之间距离保证成像的完整性；防尘罩4安装于掘进机机身5，在激光标靶2和数字摄像机3周围(除激光照射方向外)形成封闭空间，防止粉尘影响；图形处理计算机与掘进机机身5刚性连接，通过网络连接线与数字摄像机3连接。

本发明需要建立巷道坐标系O_aX_aY_aZ_a和机身坐标系O_bX_bY_bZ_b解算掘进机空间位姿参数，如附图2所示，初始位置时刻O_a、O_b重合，都位于巷道设计中线上，X_a轴指向巷道右侧，Y_a轴与巷道中线重合并指向巷道断面，Y_b轴和Y_a轴重合，Z_a轴与X_aO_aY_a平面垂直方向向上，X_b轴、Z_b轴分别与X_a轴、Z_a轴平行。

掘进机在巷道内的空间模型可简化为巷道坐标系下长方体刚体的位姿，即机身坐标系在巷道坐标系下的单位方向向量

以及刚体上某一点在巷道坐标系下的坐标。

解算过程如附图3所示，激光标靶中的点P₁～P₁₀为图形处理计算机解算掘进机机身偏转角度时的参考点，通过比例计算出l₁、l₂、l′₁和l′₂与激光标靶中P₁P₃、P₃P₆、P₄P₆、P₄P₉、P₇P₉、P₁P₇和P₁P₄的交点A、B、C、D、E、F、G在图像坐标系下的坐标(x y)，再转换到机身坐标系O_bX_bY_bZ_b下：

其中，θ为V型激光标靶的夹角角度，h为掘进机机身高度，l为掘进机机身长度，(XY Z)为各交点在机身坐标系下的坐标。

设置激光标靶中的参考点P₁～P₁₀时应保证每个点距离图像坐标系中激光标靶最近的一条边的长度一致。

根据上述各交点在机身坐标系中的坐标可以解算出巷道坐标系中掘进机的空间位姿参数(α β γ ΔX ΔZ)。

首先解算掘进机的偏向角α、俯仰角β和滚动角γ这三个空间位姿参数。

设十字激光指向仪的两个激光面为平面a(ABE)和平面b(CDF)，由(1)式可求得平面a和平面b在机身坐标系下的法向量

和平面a、b的平面方程。

如附图4所示，当掘进机进行掘进工作时，

为平面X_aO_aZ_a的法向量

而平面X_aO_aY_a和平面Y_aO_aZ_a的法向量

可视为平面a和平面b的法向量

以十字激光的中心线l₀为旋转轴顺时针方向转动45°。

法向量

的计算方法为先通过一次平移变换和两次旋转变换，旋转轴变换成Y_b轴；再通过相应的逆变换，对应的向量和旋转轴变换为十字激光的中心线。

具体计算方法如下：

如附图5所示，先通过平面a和平面b的平面方程求出其交线方程l₀，取一过机身坐标系原点O_b且垂直于直线l₀于点P的直线l₃，求出直线l₃的直线方程，再求出点P的坐标(x₀y₀ z₀)，将直线l₀平移使其过机身坐标系原点O_b，得到直线l′₀。

该平移变换矩阵为：

如附图6所示，通过旋转变换矩阵M_r1，直线l′₀绕Y_b轴旋转到平面Y_bO_bZ_b上，得到直线l″₀。取直线l′₀的单位向量(x₁ y₁ z₁)，

其旋转变换矩阵为：

其中，d为单位轴向量在平面X_bO_bZ_b上的投影，

然后通过旋转变换M_r2，直线l″₀绕X_b轴旋转到Y_b轴。

其旋转变换矩阵为：

法向量

的具体计算方法如下：

M_y为绕Y_b轴旋转45°的旋转变换矩阵。

上述法向量

坐标均为机身坐标系下的坐标，规定法向量

分别与巷道坐标系X_a、Y_a、Z_a方向相同。

对法向量

分别求其单位法向量

如附图7所示，需要再对单位法向量

进行坐标变换，得到巷道坐标系下的机身方向向量。

矩阵

在巷道坐标系下为单位矩阵E，使其右乘转换矩阵R转换为单位矩阵E。

N′·R＝E(8)

转换矩阵R为机身坐标系O_bX_bY_bZ_b和巷道坐标系O_aX_aY_aZ_a的转换关系矩阵，从而可以得到巷道坐标系下的机身方向向量。

由(8)式可得到R＝N′^-1，那么巷道坐标系下的机身方向向量可表示为：

如附图8所示，机身坐标系下的机身三个平面的法向量与偏向角α、俯仰角β、滚动角γ的转换关系如下：

由此可得，掘进机机身相对巷道坐标系下的偏向角α、俯仰角β、滚动角γ为：

为确定掘进机的空间位姿，还需要确定机身上任意一点相对初始位置的偏移量(ΔX ΔZ)。

参考附图9，取点G为参考点，即求点G在平行于平面X_aO_aZ_a的平面中相对于十字激光中心线的偏移量，点G的偏移量(ΔX ΔZ)的计算方法如下：

(X′_G Y′_G Z′_G 1)＝(X_G Y_G Z_G 1)·M_α·M_β·M_γ (12)

其中：

使用图形处理计算机处理采集到的图像，解算出机身坐标系下十字激光指向仪发射的十字激光在V型激光标靶上成像所需的各个特征点的坐标。

本发明中未提及的部分采用现有技术加以实现。

Claims (6)

1.基于V型激光标靶图像识别的掘进机位姿检测系统及方法，其特征包括：一台十字激光指向仪、一个半透光式V型激光标靶、一台数字摄像机、一台图像处理计算机、一个防尘罩组成，十字激光指向仪、数字摄像机和图像处理计算机均为矿用防爆型设备。

2.根据权利要求1所述的基于V型激光标靶图像识别的掘进机位姿检测系统及方法，其特征在于，所述的十字激光指向仪，固定安装在掘进巷道入口处，安装后激光指向与掘进方向要求一致，同时发射的十字激光线在巷道空间形成的两个激光平面与巷道水平面都成45°。

3.根据权利要求1所述的基于V型激光标靶图像识别的掘进机位姿检测系统及方法，其特征在于，所述的半透光式V型激光标靶，是由2块同样大小的长方形半透光式靶面板材料构成，2块靶面板拼接构成1个带有折角的V型激光标靶，折角范围为30°～150°，折角范围不同，则相应的面板尺寸根据测量要求进行调整；V型激光标靶可采用内折或外折，立式或平式安装，优选外折立式安装模式；激光标靶固定安装在掘进机机身顶部平面，优选安装在机身中部；初始安装激光标靶时应调整掘进机机身满足在巷道坐标系下滚转角＝0°、俯仰角＝0°、偏向角＝0°、重心偏移量为0；初始安装时，采用优选立式安装的激光标靶两平面都垂直于掘进机机身顶部平面；初始安装完成状态，十字激光指向仪发射的十字激光照射在激光标靶上，十字激光中心在激光标靶的中心位置，两中心点连线与巷道水平面平行，十字激光应在激光标靶两个平面形成交叉线的图像。

4.根据权利要求1所述的基于V型激光标靶图像识别的掘进机位姿检测系统及方法，其特征在于，所述的数字摄像机，固定安装于掘进机激光标靶的正后方，对准激光标靶采集激光标靶上的十字激光照射形成的图像，安装位姿应完整采集激光标靶图像。

5.根据权利要求1所述的基于V型激光标靶图像识别的掘进机位姿检测系统及方法，其特征在于，所述的防尘罩，固定安装于掘进机机身，在V型激光标靶和数字摄像机周围(除激光照射方向外)形成封闭空间，防止粉尘覆盖在数字摄像机镜头表面造成影响。

6.根据权利要求1所述的一种基于V型激光标靶图像识别的悬臂式掘进机空间位姿检测方法，其特征在于，所述的检测方法为：

固定在巷道顶上的十字激光指向仪向V型激光标靶照射，形成十字交叉线图像，通过数字摄像机采集激光标靶上的图像，采集的数字图像传输给图像处理计算机完成图像识别，根据图像识别获得的特征参数，最终解算出掘进机工作过程中滚转角、俯仰角、偏向角和重心偏移位姿参数。

所述图像处理计算机的位姿解算方法为，首先建立巷道坐标系和掘进机机身坐标系双坐标系模型，表示为O_aX_aY_aZ_a和O_bX_bY_bZ_b，

进一步地，将激光标靶上的激光投影l₁、l′₁、l₂、l′₂与激光标靶上参考点P₁～P₁₀的连线相交的7个特征点A、B、C、D、E、F、G换算到机身坐标系中，表示为

进一步地，通过7个特征点可求得机身坐标系下的两个激光平面a(ABE)和平面b(CDF)和对应的法向量

进一步地，通过

可求得机身坐标系下平面X_aO_aZ_a的法向量

进一步地，将法向量

绕十字激光中心线l₀为旋转轴顺时针转动45°可求得平面X_aO_aY_a和平面Y_aO_aZ_a的法向量

通过一次平移变换M_t和两次旋转变换M_r1、M_r2将旋转轴l₀变换为Y_b轴，再通过相应的逆变换将对应的法向量

和旋转轴Y_b轴变换为法向量

和旋转轴l₀，

平移变换M_t的计算方法为首先通过平面a和平面b的平面方程求出旋转轴l₀的直线方程，进一步地，求出一过机身坐标系原点O_b且垂直旋转轴l₀于点P的直线方程l₃，进一步地，求出点P的坐标(x₀ y₀ z₀)，平移变换M_t为：

旋转变换M_r1、M_r2的计算方法为首先旋转轴l₀经过平移变换M_t变换为直线l′₀，进一步地，取直线l′₀的单位向量(x₁ y₁ z₁)，进一步地，求出点位向量在平面X_bO_bZ_b上的投影

旋转变换M_r1、M_r2为：

进一步地，法向量

能够表示为：

旋转变换M_y为绕Y_b轴顺时针旋转45°所对应的变换，旋转变换M_y为：

进一步地，分别求出法向量

对应的单位法向量

进一步地，对单位法向量矩阵

右乘转换矩阵R进行坐标变换N′·R＝E，再得到巷道坐标系下的机身方向向量：

进一步地，掘进机机身相对巷道坐标系下的偏向角α、俯仰角β、滚动角γ可表示为：

进一步地，取十字激光在激光标靶上投影的相交点G为参考点，求出该点与初始位置的偏移量(ΔX ΔZ)，设点G偏移后变换为点G′，则偏移量(ΔX ΔZ)的计算方法为：

其中，

(X′_G Y′_G Z′_G 1)＝(X_G Y_G Z_G 1)·M_α·M_β·M_γ

。

Images