CN110232736B - 一种井下综采工作面三维场景快速构建方法 - Google Patents

Abstract

本发明公开了一种井下综采工作面三维场景快速构建方法，步骤包括：(1)将激光雷达、惯性测量单元和里程计安装在移动云台上，移动云台在柔性轨道上快速移动，柔性轨道安装在刮板输送机槽帮外侧的轨道支撑架上；(2)实时获取IMU、里程计与激光雷达的测量数据并进行融合，获得综采工作面激光扫描三维点云矢量数据；(3)分别对三维点云矢量数据进行点云去噪、点云纠正和点云分割处理；(4)生成三维点云矢量数据的不规则三角网；(5)对综采装备的轮廓特征进行提取与分离，快速构建出综采工作面三维场景模型。本发明能快速构建出综采工作面的三维场景信息，以简单直观的方式快速展现综采工作面生产全貌。

Description

一种井下综采工作面三维场景快速构建方法

技术领域

本发明涉及一种井下三维场景快速构建方法，尤其是一种适用于煤矿无人化开采技术领域的井下综采工作面三维场景快速构建方法。

背景技术

煤矿无人化开采是国际煤炭开采领域共同追求的前沿技术，是减少人员伤亡、保障安全生产的重要手段也是我国煤矿实现安全、高效、绿色开采的有效途径。要想实现真正的无人化开采，综采工作面场景和设备状态的感知是实现智能决策、控制的先决条件，目前，综采工作面主要采用架设视频监控系统来实现对综采工作面生产关键信息的基本感知。然而，目前的综采工作面监控主要存在以下缺点：(1)综采工作面环境属于微光甚至无光的环境，需要人工照明，加上水、雾等因素的影响，导致视频监控很难获得清晰的图像；(2)仅凭视频监控获取的图像信息无法准确判断综采设备的运行状况；(3)现有的综采工作面视频监控解决方案是在整个工作面布置足够多的摄像仪，投资大、成本高、尤其维护工作量巨大。

发明内容

技术问题：本发明的目的是要克服现有技术中的不足之处，提出一种方法简单、能减少人员伤亡、高安开采的井下综采工作面三维场景快速构建方法。

技术方案：本发明的一种井下综采工作面三维场景快速构建方法，其特征在于：利用激光扫描数据、惯性测量数据、里程计数据，快速构建综采工作面三维场景，具体步骤如下：

a.在刮板输送机槽帮外侧的轨道支撑架上安装柔性轨道，然后在柔性轨道顶部安装移动云台，并在移动云台上设置激光雷达成像系统，所述的激光雷达成像系统包括激光雷达、惯性测量单元(IMU)、里程计和控制模块；

b.通过控制模块向移动云台发出行走指令后，激光雷达开始快速扫描综采工作面三维场景信息，惯性测量单元实时获取移动云台的三维姿态，里程计测量移动云台行走距离；

c.将惯性测量单元测量数据、里程计测量数据与激光雷达实时获取的综采工作面三维场景信息进行融合，获得综采工作面激光扫描三维点云矢量数据；所述融合的方法首先需要把激光雷达、惯性测量单元和里程计测量的数据统一转化到移动平台坐标系下，然后再进行数据融合计算，即首先计算出移动平台行走的轨迹数据(包括移动平台坐标、姿态和位置信息)，然后将激光雷达扫描数据与轨迹数据进行融合，最后获得具有准确坐标、姿态、强度信息的激光扫描三维点云矢量数据。

d.对三维点云矢量数据进行点云去噪、点云纠正和点云分割处理；

e.分析处理综采工作面激光扫描三维点云矢量数据，并生成综采工作面三维点云矢量数据的不规则三角网，并对综采工作面不规则三角网进行样条曲线插值处理；

f.在生成的综采工作面不规则三角网中分别提取采煤机、刮板输送机和液压支架的轮廓特征，对提取的轮廓特征进行分离，从而快速构建出综采工作面三维场景模型。

所述步骤c中，将惯性测量单元、里程计与激光雷达实时获取的数据进行融合的方法为：

首先把激光雷达、惯性测量单元和里程计获取的数据融合到移动云台W坐标系下，其中激光雷达获取的数据融合到坐标系的形式如下：

式中，

和/>

是激光雷达坐标系L的原点轴到W坐标系下的原点平移参数，

是L坐标系与W坐标系之间的旋转矩阵，其中：

式中：α，β，γ是L坐标系与W坐标系三个坐标轴X，Y，Z之间的旋转角；

惯性测量单元和里程计获取的数据均采用经典的七参数布尔莎模型融合到移动云台W坐标系下；

融合后的误差方程可表示为：

式中：X_Ω，Y_Ω，Z_Ω是激光雷达、IMU和里程计获取数据融合后的坐标，

是融合后的坐标平均值，δ是融合后的误差向量；

最后根据最小二乘原理：δ^T×δ＝min，解算出坐标和姿态的六个误差参数

Δα，Δβ，Δγ，从而获得具有准确坐标和姿态信息的综采工作面激光扫描三维点云矢量数据。

所述步骤d中的点云纠正采用基于迭代最近点算法，包括如下步骤：

1)选取第一次激光雷达扫描获得的三维点云矢量数据作为参考点集中的控制点集P＝{p₁,p₂,p₃,…,p_n}，与其对应的待纠正点集为采集点Q＝{q₁,q₂,q₃,…,q_n}；

2)计算点集P和Q对应空间点的距离：

3)判断是否满足||p_i·q_i||＝min(||p_j·q_j||)，其中||p_i·q_i||表示两个点集中点对的欧氏距离，并剔除不满足条件的点对。

所述步骤d中，点云分割处理采用表面生长分割方法，具体步骤包括：

1)求取每一个激光雷达扫描点P的法向量和残差，并把第一次激光雷达扫描获得的三维点云矢量数据确定种子点，对应的平面确定为种子平面；

2)在最新扫描激光雷达扫描的三维点云矢量数据中设置邻近点与种子点法线向量之间的角度差异阈值为θ：对于当前生长的种子点，利用向量逻辑函数树KD(K-Dimensional)求取三维点云矢量数据中的某一个邻近点作为待处理的点，分别计算种子点与待处理点的切平面法向量，通过两点法向量计算出两条法向量的角度差；如果该角度差小于阈值θ，则将此点加入到种子点队列中，并将该点作为新的种子点，继续判别其他的未处理的点，否则，跳过该点，处理其他的未处理点；

3)设置距离阈值Δd：对于待处理的种子点，通过邻近点拟合出切平面；如果待处理点到切平面的距离小于阈值Δd则将此点加入到种子队列中，并作为新的种子点，继续判别其他的未处理点，否则，跳过该点，处理其他的未处理点；

4)检查未被标号的数据点的数量：如果没有未被标号的点，结束分割；否则，对未被标号的点求拟合平面残差，将残差最小的点作为新的种子点，并将其加入到步骤3)的种子点队列中；

5)取步骤3)中种子点队列中尚未被处理过的种子点，利用向量逻辑函数树KD检索到该种子点的k个邻近点，对该种子点的每一个邻近点逐一判断；如果该点己经在步骤4)种子点的队列中，则不处理；否则按照步骤2)和步骤3)中的相似性测度进行判别；

6)检查种子点队列中是否仍然存在未处理的点；如果有，则返回到步骤4)，顺序向下执行；如果没有，则分别对步骤4)中种子点队列中的点进行标号，并结束点云分割。

所述步骤f中，对提取的轮廓特征进行分离的方法包括如下步骤：

1)对激光雷达扫描的综采装备垂直面数据进行分割，将不同的综采装备立面上的点分割到相应的分割面片上；

2)对不同的分割面片点，利用特征值法拟合出该分割面片所在的平面；

3)将该分割面片上的所有点投影到拟合出的平面上；

4)根据该分割面片所在的平面法向量，计算其与水平面法线向量之间的夹角；并通过该夹角计算出旋转矩阵，将该平面上的点旋转到水平面；

5)提取综采装备点云数据的边界点；

6)将这些边界点进行连接边界点依次连接，从而得到最终综采装备的三维轮廓。

有益效果：由于采用了上述技术方案，本发明能快速构建出综采工作面的三维场景信息，解决综采工作面场景和设备状态的感知问题，减少人员伤亡、保障安全生产，在无人化开采技术领域内具有广泛的实用性。主要优点有：

1)本发明能快速的获取综采工作面和综采装备的高精度激光扫描三维点云矢量数据，进而生成综采工作面场景和综采装备运行状况的清晰图像；

2)对于视频监控综采工作面，整个工作面仅需安装一台激光雷达成像系统，就能够实现对整个工作面场景的快速构建，极大降低了投资成本，且安装便利、维护方便可靠。

附图说明

图1是本发明的激光雷达成像系统在综采工作面安装的示意图。

图2是本发明的井下综采工作面三维场景快速构建方法流程图。

图中：1-采煤机；2-刮板输送机；3-液压支架；4-柔性导轨；5-移动云台；6-激光雷达成像系统。

具体实施方式

下面结合附图中的实施例对本发明作进一步的描述：

如图1所示，为本发明的激光雷达成像系统6在综采工作面安装的示意图，激光雷达、惯性测量单元和里程计安装在移动云台5上，移动云台5在柔性轨道4上快速移动，柔性轨道4安装在刮板输送机2槽帮外侧的轨道支撑架上；其中移动云台5包括移动机构、云台座、带编码器驱动电机、位置传感器、控制模块、通讯模块和电源模块；柔性轨道4随着刮板输送机推移而移动，能自适应与自主调节，保证移动云台的快速通过。

如图2所示，本发明的井下综采工作面三维场景快速构建方法，利用激光扫描数据、惯性测量数据、里程计数据，快速构建综采工作面三维场景，具体步骤如下：

a.在刮板输送机2槽帮外侧的轨道支撑架上安装柔性轨道4，然后在柔性轨道4顶部安装移动云台5，并在移动云台5上设置激光雷达成像系统6，所述的激光雷达成像系统6包括激光雷达、惯性测量单元(Inertial measurement unit，IMU)、里程计和控制模块；激光雷达、惯性测量单元和里程计安装在移动云台上，移动云台在柔性轨道上快速移动，柔性轨道安装在刮板输送机槽帮外侧的轨道支撑架上；当控制模块向移动云台发出行走指令后，激光雷达开始快速扫描，IMU实时获取移动平台的三维姿态，里程计测量移动平台行走距离；

b.实时获取惯性测量单元、里程计与激光雷达的测量数据并进行融合，获得综采工作面激光扫描三维点云矢量数据；通过控制模块向移动云台5发出行走指令后，激光雷达开始快速扫描综采工作面三维场景信息，IMU实时获取移动云台5的三维姿态，里程计测量移动云台5行走距离；所述的移动云台包括移动机构、云台座、带编码器驱动电机、位置传感器、控制模块、通讯模块和电源模块；所述柔性轨道随着刮板输送机推移而移动，并可以自适应与自主调节，保证移动云台的快速通过。

c.将惯性测量单元测量数据、里程计测量数据与激光雷达实时获取的综采工作面三维场景信息进行融合，获得综采工作面激光扫描三维点云矢量数据；

d.对三维点云矢量数据进行点云去噪、点云纠正和点云分割处理；

e.分析处理综采工作面激光扫描三维点云矢量数据，并生成综采工作面三维点云矢量数据的不规则三角网，并对综采工作面不规则三角网进行样条曲线插值处理；

f.在生成的综采工作面不规则三角网中分别提取采煤机1、刮板输送机2和液压支架3的轮廓特征，对提取的轮廓特征进行分离，从而快速构建出综采工作面三维场景模型。

所述步骤c中，将惯性测量单元、里程计与激光雷达实时获取的数据进行融合的方法为：

首先把激光雷达、惯性测量单元和里程计获取的数据融合到移动云台5W坐标系下，其中激光雷达获取的数据融合到坐标系的形式如下：

式中，

和/>

是激光雷达坐标系L的原点轴到W坐标系下的原点平移参数，

是L坐标系与W坐标系之间的旋转矩阵，其中：

式中：α，β，γ是L坐标系与W坐标系三个坐标轴X，Y，Z之间的旋转角；

惯性测量单元和里程计获取的数据均采用经典的七参数布尔莎模型融合到移动云台(5)W坐标系下；

融合后的误差方程可表示为：

式中：X_Ω，Y_Ω，Z_Ω是激光雷达、IMU和里程计获取数据融合后的坐标，

是融合后的坐标平均值，δ是融合后的误差向量；

最后根据最小二乘原理：δ^T×δ＝min，解算出坐标和姿态的六个误差参数

Δα，Δβ，Δγ，从而获得具有准确坐标和姿态信息的综采工作面激光扫描三维点云矢量数据。

所述步骤d中的点云纠正采用基于迭代最近点算法，包括如下步骤：

1)选取第一次激光雷达扫描获得的三维点云矢量数据作为参考点集中的控制点集P＝{p₁,p₂,p₃,…,p_n}，与其对应的待纠正点集为采集点Q＝{q₁,q₂,q₃,…,q_n}；

2)计算点集P和Q对应空间点的距离：

3)判断是否满足||p_i·q_i||＝min(||p_j·q_j||)，其中||p_i·q_i||表示两个点集中点对的欧氏距离，并剔除不满足条件的点对。

所述步骤d中，点云分割处理采用表面生长分割方法，具体步骤包括：

1)求取每一个激光雷达扫描点P的法向量和残差，并把第一次激光雷达扫描获得的三维点云矢量数据确定种子点，对应的平面确定为种子平面；

2)在最新扫描激光雷达扫描的三维点云矢量数据中设置邻近点与种子点法线向量之间的角度差异阈值为θ：对于当前生长的种子点，利用向量逻辑函数树KD(K-Dimensional)求取三维点云矢量数据中的某一个邻近点作为待处理的点，分别计算种子点与待处理点的切平面法向量，通过两点法向量计算出两条法向量的角度差；如果该角度差小于阈值θ，则将此点加入到种子点队列中，并将该点作为新的种子点，继续判别其他的未处理的点，否则，跳过该点，处理其他的未处理点；

3)设置距离阈值Δd：对于待处理的种子点，通过邻近点拟合出切平面；如果待处理点到切平面的距离小于阈值Δd则将此点加入到种子队列中，并作为新的种子点，继续判别其他的未处理点，否则，跳过该点，处理其他的未处理点；

4)检查未被标号的数据点的数量：如果没有未被标号的点，结束分割；否则，对未被标号的点求拟合平面残差，将残差最小的点作为新的种子点，并将其加入到步骤3)的种子点队列中；

5)取步骤3)中种子点队列中尚未被处理过的种子点，利用向量逻辑函数树KD检索到该种子点的k个邻近点，对该种子点的每一个邻近点逐一判断；如果该点己经在步骤4)种子点的队列中，则不处理；否则按照步骤2)和步骤3)中的相似性测度进行判别；

6)检查种子点队列中是否仍然存在未处理的点；如果有，则返回到步骤4)，顺序向下执行；如果没有，则分别对步骤4)中种子点队列中的点进行标号，并结束点云分割。

所述步骤f中，对提取的轮廓特征进行分离的方法包括如下步骤：

1)对激光雷达扫描的综采装备垂直面数据(垂直于水平面法线向量)进行分割，将不同的综采装备立面上的点分割到相应的分割面片上；

2)对不同的分割面片点，利用特征值法拟合出该分割面片所在的平面；

3)将该分割面片上的所有点投影到拟合出的平面上；

4)根据该分割面片所在的平面法向量，计算其与水平面法线向量之间的夹角；并通过该夹角计算出旋转矩阵，将该平面上的点旋转到水平面；

5)提取综采装备点云数据的边界点；

6)将这些边界点进行连接边界点依次连接，从而得到最终综采装备的三维轮廓。

所述的点云分割采用的是表面生长分割方法，具体步骤包括：(1)求取每一个激光雷达扫描点的法向量和残差，由此，确定种子点和种子平面；(2)设置邻近点与种子点法线向量间的角度差异阈值θ：对于当前生长的种子点，利用KD(K-Dimensional)树求取其某一临近点作为待处理的点，分别计算种子点与待处理点的切平面法向量，通过两点法向量计算出两条法向量的角度差，如果该角度差小于阈值θ，则将此点加入到种子点队列中，并将该点作为新的种子点，继续判别其他的未处理的点，否则，跳过该点，处理其他的未处理点；(3)设置距离阈值Δd：对于当前的种子点，通过邻近点拟合出切平面，如果待处理点到切平面的距离小于阈值Δd则将此点加入到种子队列中，并作为新的种子点，继续判别其他的未处理点，否则，跳过该点，处理其他的未处理点；(4)检查未被标号的数据点的数量：如果没有未被标号的点，结束分割；否则，对该些未被标号的点求拟合平面残差，将残差最小的点作为新的种子点，并将其加入到一个种子点队列；(5)取种子点队列中第一个尚未被处理过的种子点，利用KD树检索到该种子点的k个邻近点。对该种子点的每一个邻近点进行逐一判断，如果该点己经在种子点的队列中，则不处理；否则按照(2)、(3)中的相似性测度进行判别；(6)平面竞争：如果某一邻近点可W加入到该种子点队列中，判断这一临近点是否己经被标号，如果被标号，则计算这个点到当前切平面的距离与该点到已标号的切平面的距离，如果前者较小，则将该点加入到当前种子点队列，否则不予W处理；如果该点未被标号，则直接加入到当前种子点队列；(7)检查种子点队列中是否仍然存在未处理的点，如果有，则返回到第(4)步，顺序向下执行，如果没有，则分别对不同种子点队列中的点进行标号，并结束点云分割。

所述的轮廓特征提取方法的步骤包括：(1)对综采装备立面数据进行分割，将不同的综采装备立面上的点分割到相应的分割面片上；(2)对不同的分割面片点，利用特征值法拟合出该分割面片所在的平面；(3)将该分割面片上的所有点投影到拟合出的平面上；(4)根据该分割面片所在的平面法向量，计算其与水平面法线向量之间的夹角；并通过该夹角计算出旋转矩阵，将该平面上的点旋转到水平面；(5)提取综采装备点云数据的边界点；(6)将这些边界点进行连接边界点，从而得到最终综采装备的三维轮廓。

Claims (4)

1.一种井下综采工作面三维场景快速构建方法，其特征在于：利用激光扫描数据、惯性测量数据、里程计数据，快速构建综采工作面三维场景，具体步骤如下：

a.在刮板输送机(2)槽帮外侧的轨道支撑架上安装柔性轨道(4)，然后在柔性轨道(4)顶部安装移动云台(5)，并在移动云台(5)上设置激光雷达成像系统(6)，所述的激光雷达成像系统(6)包括激光雷达、惯性测量单元、里程计和控制模块；

b.通过控制模块向移动云台(5)发出行走指令后，激光雷达开始快速扫描综采工作面三维场景信息，惯性测量单元实时获取移动云台(5)的三维姿态，里程计测量移动云台(5)行走距离；

c.将惯性测量单元测量数据、里程计测量数据与激光雷达实时获取的综采工作面三维场景信息进行融合，获得综采工作面激光扫描三维点云矢量数据；

d.对三维点云矢量数据进行点云去噪、点云纠正和点云分割处理；

e.分析处理综采工作面激光扫描三维点云矢量数据，并生成综采工作面三维点云矢量数据的不规则三角网，并对综采工作面不规则三角网进行样条曲线插值处理；

f.在生成的综采工作面不规则三角网中分别提取采煤机(1)、刮板输送机(2)和液压支架(3)的轮廓特征，对提取的轮廓特征进行分离，从而快速构建出综采工作面三维场景模型；

所述步骤c中，将惯性测量单元、里程计与激光雷达实时获取的数据进行融合的方法为：

首先把激光雷达、惯性测量单元和里程计获取的数据融合到移动云台(5)W坐标系下，激光雷达获取的数据融合到坐标系的形式如下：

式中，

和/>

是激光雷达坐标系L的原点轴到W坐标系下的原点平移参数，

是L坐标系与W坐标系之间的旋转矩阵，其中：

式中：α，β，γ是L坐标系与W坐标系三个坐标轴X，Y，Z之间的旋转角；

惯性测量单元和里程计获取的数据均采用经典的七参数布尔莎模型融合到移动云台(5)W坐标系下；

融合后的误差方程表示为：

式中：X_Ω，Y_Ω，Z_Ω是激光雷达、惯性测量单元和里程计获取数据融合后的坐标，

是融合后的坐标平均值，δ是融合后的误差向量；

最后根据最小二乘原理：δ^T×δ＝min，解算出坐标和姿态的六个误差参数

Δα，Δβ，Δγ，从而获得具有准确坐标和姿态信息的综采工作面激光扫描三维点云矢量数据。

2.根据权利要求1中所述的一种井下综采工作面三维场景快速构建方法，其特征在于：所述步骤d中的点云纠正采用基于迭代最近点算法，包括如下步骤：

1)选取第一次激光雷达扫描获得的三维点云矢量数据作为参考点集中的控制点集P＝{p₁,p₂,p₃,…,p_n}，与其对应的待纠正点集为采集点Q＝{q₁,q₂,q₃,…,q_n}；

2)计算点集P和Q对应空间点的距离：

3)判断是否满足

其中||p_i·q_i||表示两个点集中点对的欧氏距离，并剔除不满足条件的点对。

3.根据权利要求1中所述的一种井下综采工作面三维场景快速构建方法，其特征在于：所述步骤d中，点云分割处理采用表面生长分割方法，具体步骤包括：

1)求取每一个激光雷达扫描点P的法向量和残差，并把第一次激光雷达扫描获得的三维点云矢量数据确定种子点，对应的平面确定为种子平面；

2)在最新扫描激光雷达扫描的三维点云矢量数据中设置邻近点与种子点法线向量之间的角度差异阈值为θ：对于当前生长的种子点，利用向量逻辑函数树KD求取三维点云矢量数据中的某一个邻近点作为待处理的点，分别计算种子点与待处理点的切平面法向量，通过两点法向量计算出两条法向量的角度差；如果该角度差小于阈值θ，则将此点加入到种子点队列中，并将该点作为新的种子点，继续判别其他的未处理的点，否则，跳过该点，处理其他的未处理点；

3)设置距离阈值Δd：对于待处理的种子点，通过邻近点拟合出切平面；如果待处理点到切平面的距离小于阈值Δd则将此点加入到种子队列中，并作为新的种子点，继续判别其他的未处理点，否则，跳过该点，处理其他的未处理点；

4)检查未被标号的数据点的数量：如果没有未被标号的点，结束分割；否则，对未被标号的点求拟合平面残差，将残差最小的点作为新的种子点，并将其加入到步骤3)的种子点队列中；

5)取步骤3)中种子点队列中尚未被处理过的种子点，利用向量逻辑函数树KD检索到该种子点的k个邻近点，对该种子点的每一个邻近点逐一判断；如果该点己经在步骤4)种子点的队列中，则不处理；否则按照步骤2)和步骤3)中的相似性测度进行判别；

6)检查种子点队列中是否仍然存在未处理的点；如果有，则返回到步骤4)，顺序向下执行；如果没有，则分别对步骤4)中种子点队列中的点进行标号，并结束点云分割。

4.根据权利要求1中所述的一种井下综采工作面三维场景快速构建方法，其特征在于，所述步骤f中，对提取的轮廓特征进行分离的方法包括如下步骤：

1)对激光雷达扫描的综采装备垂直面数据进行分割，将不同的综采装备立面上的点分割到相应的分割面片上；

2)对不同的分割面片点，利用特征值法拟合出该分割面片所在的平面；

3)将该分割面片上的所有点投影到拟合出的平面上；

4)根据该分割面片所在的平面法向量，计算其与水平面法线向量之间的夹角；并通过该夹角计算出旋转矩阵，将该平面上的点旋转到水平面；

5)提取综采装备点云数据的边界点；

6)将这些边界点进行连接边界点依次连接，从而得到最终综采装备的三维轮廓。

Images