CN114332348B - 一种融合激光雷达与图像数据的轨道三维重建方法 - Google Patents

Abstract

本发明涉及三维重建领域，具体为一种融合激光雷达与图像数据的轨道三维重建方法。其包括如下步骤：S1、将激光雷达传感器、惯导系统安装于手持搭载设备上，并通过数据接口与电脑相连；S2、运行传感器驱动并开始数据采集，使用摄像设备获取照片数据；S3.1、激光点云通过RANSAC算法评估局部区域点的凹凸程度来提取边缘和平面特征点；S3.2、使用SFM重建稀疏点云，而后使用CMVS重建稠密点云；S4.1、进行激光点云与图像点云尺度拟合；S4.2、通过求解对应点变换后的距离误差和来判断当前配准变换的性能；S4.3、融合纹理色彩信息；S5、拟合两组点云。本发明优化了点云密度和点云数据类型，采集设备移动轻便，满足实时移动，三维模型精度高、纹理完善。

Description

一种融合激光雷达与图像数据的轨道三维重建方法

技术领域

本发明涉及三维重建领域，特别是涉及一种融合激光雷达与图像数据的轨道三维重建方法。

背景技术

轨道在三维重建方面多依赖于BIM建模，通过设计图纸在软件中直接进行建模重现，这种方式需要人工处理数据完成建模，且无法还原真实的环境。而目前应用较为常见的三维建模技术是近景测量，这种方式易受距离、光线和人工影响，且智能化程度低，模型精度无法达到需求。激光雷达技术可用于对既有环境的大范围、高精度扫描，快速得到三维几何数据，且激光雷达受环境因素影响小，具有较高实时性，非常适合三维建模。但缺乏目标物体的色彩纹理，单纯的点云图像无法满足轨道模型的使用要求。

目前使用激光雷达与图像进行三维重建的方法多依赖于设备的高精度，且基本无法获取目标物体的纹理信息，无法对大场景进行快速准确的三维重建。对融合的图像数据采集要求繁琐复杂，且效果多依赖人工经验。

发明内容

本发明目的是针对背景技术中存在的问题，提出一种融合激光雷达与图像数据的轨道三维重建方法，优化了点云密度和点云数据类型，采集数据方便，采集设备移动轻便，满足实时移动，三维模型精度高、纹理完善。

本发明的技术方案，一种融合激光雷达与图像数据的轨道三维重建方法，包括如下步骤：

S1、将激光雷达传感器、惯导系统安装于手持搭载设备上，并通过数据接口与电脑相连，传感器上电，待雷达转数平稳后开始S2；

S2、在电脑上运行传感器驱动并开始数据采集，围绕被测物体运动或沿被测物体匀速运动，采集点云数据，同时使用摄像设备获取照片数据；

S3.1、激光点云通过RANSAC算法评估局部区域点的凹凸程度来提取边缘和平面特征点；基于提取的特征点构建约束关系，采用关键帧策略进行优化配准和相对转换计算；最后将点云配准至全局地图中；

S3.2、使用SFM重建稀疏点云，而后使用CMVS重建稠密点云，以提取拍摄的图像特征，生成片面，特征片面聚类，而后得到图像点云；两组点云通过分割后得到轨道部位的点云，采用直通滤波方式对点云进行降噪处理，去除噪点；

S4.1、通过Match scales进行激光点云与图像点云尺度拟合；

S4.2、为在融合两组点云时降低误差，首先使用RANSAC拟合出激光点云和图像点云中的轨道板平面，设定采样最小距离阈值，计算点云中每个点的表面法线n，确定一个邻域半径r，以每个点为原点，选择半径r内的所有近邻并计算PFH(Point FeatureHistogram)特征，对于每个点p_i、p_j，i≠j，在邻域中有法线n_i、n_j，其局部坐标轴计算如下：

而后通过下式计算得到表面法线的角度变换：

式中：(a，φ，θ)为每个点的PFH特征；

然后在图像点云中索引具有相同FPFH(Fast Point Feature Histogram)特征的一个或多个相似点，从中选取一个点作为激光点云在图像点云中的对应点；最后计算对应点之间的刚体变换矩阵，通过求解对应点变换后的距离误差和来判断当前配准变换的性能；

S4.3、以激光点云

为基准，对于通过图像重建点云/>

有点集合/>

通过配准后，对于/>

有/>

过Kdtree索引将/>

最邻近/>

的RGB值赋予/>

融合纹理色彩信息；根据K叉树更新点云位置关系：

S5、拟合两组点云，进行信息互补，最终得到轨道完整点云。

优选的，S3.1中的具体点云配准流程如下：

1).通过将每一帧点云进行RANSAC平面拟合分割为边缘(非平面)特征点集合

和平面特征点集合/>

得到雷达帧/>

2).根据IMU估计的机器人运动矩阵

将/>

从坐标系B转换到坐标系W，获得/>

而后在边缘体素地图/>

和平面体素地图/>

中，找到每一个/>

和

特征点；

3).计算一个特征与其相关的边缘或平面之间的距离d_ek、d_pk；

4).使用高斯牛顿法最小化下列残差模型求解最优转换：

式中：

为/>

中的一个平面特征，/>

为/>

中的一个平面特征；

5).使用滑窗的方式产生一个包含最近时刻固定帧数的点云地图；因为采用分割边缘点和平面点的方式，因此构成的体素地图M_i由两个子体素地图边特征体素地图

和面特征体素地图/>

组成，其相关性如下：/>

式中：

优选的，S3.2中，重建点云的重叠聚类公式：

式中：∑_k|C_k|为最小化输出集群的图像总数，α由计算资源决定，I_i为输入影像，δ设置为0.7。

优选的，还包括S6、通过连续性概率分布函数WEIBULL统计两组点云的最邻近点的分布来估计两组点云的拟合精度，并与传统的点云配准的结果进行对比，连续性概率分布函数为：

式中：x为随机变量，λ＞0，λ为比例参数，k＞0，k为形状参数。

与现有技术相比，本发明具有如下有益的技术效果：

本发明优化了点云密度，相较于传统的激光雷达测绘所得到的点云三维地图，融合点云地图的点密度最高可提升至原有的一倍。本发明优化了点云数据类型，通过结合图像数据，丰富点云色彩纹理信息，使融合点云同时具有高精度和富有真实感。本发明基于便携式激光雷达里程计融合图像数据对铁路进行三维重建。铁路复杂环境下需采集数据方便，轻便的采集设备，满足实时移动，快速采集的要求。三维模型需满足精度高、纹理完善的要求，因此，基于便携式激光里程计融合图像数据的优化程度更高。

附图说明

图1为本发明实施例的结构示意图；

图2为激光点云配准至全局地图中的示意图；

图3为图像点云重建后的示意图；

图4为激光点云和图像点云的拟合图；

图5为降低两组点云融合误差后的成果的全局图；

图6为图5的局部图。

具体实施方式

本发明提出的一种融合激光雷达与图像数据的轨道三维重建方法，如图1所示，包括如下步骤：

S1、将激光雷达传感器、惯导系统安装于手持搭载设备上，并通过数据接口与电脑相连，传感器上电，待雷达转数平稳后开始S2；

S2、在电脑上运行传感器驱动并开始数据采集，围绕被测物体运动或沿被测物体匀速运动，采集点云数据，同时使用摄像设备获取照片数据；

S3.1、激光点云通过RANSAC算法评估局部区域点的凹凸程度来提取边缘和平面特征点；基于提取的特征点构建约束关系，采用关键帧策略进行优化配准和相对转换计算；最后将点云配准至全局地图中，如图2所示；具体点云配准流程如下：

1).通过将每一帧点云进行RANSAC平面拟合分割为边缘(非平面)特征点集合

和平面特征点集合/>

得到雷达帧/>

2).根据IMU估计的机器人运动矩阵

将/>

从坐标系B转换到坐标系W，获得/>

而后在边缘体素地图/>

和平面体素地图/>

中，找到每一个/>

和

特征点；

3).计算一个特征与其相关的边缘或平面之间的距离d_ek、d_pk；

4).使用高斯牛顿法最小化下列残差模型求解最优转换：

式中：

为/>

中的一个平面特征，/>

为/>

中的一个平面特征；

5).使用滑窗的方式产生一个包含最近时刻固定帧数的点云地图；因为采用分割边缘点和平面点的方式，因此构成的体素地图M_i由两个子体素地图边特征体素地图

和面特征体素地图/>

组成，其相关性如下：

式中：

S3.2、使用SFM重建稀疏点云，而后使用CMVS重建稠密点云，如图3所示；以提取拍摄的图像特征，生成片面，特征片面聚类，而后得到图像点云；两组点云通过分割后得到轨道部位的点云，采用直通滤波方式对点云进行降噪处理，去除噪点，重建点云的重叠聚类公式：

式中：∑_k|C_k|为最小化输出集群的图像总数，α由计算资源决定，I_i为输入影像，δ设置为0.7；

S4.1、通过Match scales进行激光点云与图像点云尺度拟合，如图4所示；

S4.2、如图5-6所示，为在融合两组点云时降低误差，首先使用RANSAC拟合出激光点云和图像点云中的轨道板平面，设定采样最小距离阈值，计算点云中每个点的表面法线n，确定一个邻域半径r，以每个点为原点，选择半径r内的所有近邻并计算PFH(PointFeature Histogram)特征，对于每个点p_i、p_j，i≠j，在邻域中有法线n_i、n_j，其局部坐标轴计算如下：

而后通过下式计算得到表面法线的角度变换：

式中：(a，φ，θ)为每个点的PFH特征；

然后在图像点云中索引具有相同FPFH(Fast Point Feature Histogram)特征的一个或多个相似点，从中选取一个点作为激光点云在图像点云中的对应点；最后计算对应点之间的刚体变换矩阵，通过求解对应点变换后的距离误差和来判断当前配准变换的性能；

S4.3、以激光点云

为基准，对于通过图像重建点云/>

有点集合/>

通过配准后，对于/>

有/>

通过Kdtree索引将/>

最邻近/>

的RGB值赋予/>

融合纹理色彩信息；根据K叉树更新点云位置关系：

S5、拟合两组点云，进行信息互补，最终得到轨道完整点云；

S6、通过连续性概率分布函数WEIBULL统计两组点云的最邻近点的分布来估计两组点云的拟合精度，并与传统的点云配准的结果进行对比，连续性概率分布函数为：

式中：x为随机变量，λ＞0，λ为比例参数，k＞0，k为形状参数。

本发明优化了点云密度，相较于传统的激光雷达测绘所得到的点云三维地图，融合点云地图的点密度最高可提升至原有的一倍。本发明优化了点云数据类型，通过结合图像数据，丰富点云色彩纹理信息，使融合点云同时具有高精度和富有真实感；两组点云数据的融合采用的都是特征迭代，通过大量的电脑计算，得到最佳的匹配矩阵，相较人工的处理方式，在精度和效率上都得到了很大提升。本发明基于便携式激光雷达里程计融合图像数据对铁路进行三维重建。铁路复杂环境下需采集数据方便，轻便的采集设备，满足实时移动，快速采集的要求。三维模型需满足精度高、纹理完善的要求，因此，基于便携式激光里程计融合图像数据的优化程度更高。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于此，在所属技术领域的技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下还可以作出各种变化。

Claims (3)

1.一种融合激光雷达与图像数据的轨道三维重建方法，其特征在于，包括如下步骤：

S1、将激光雷达传感器、惯导系统安装于手持搭载设备上，并通过数据接口与电脑相连，传感器上电，待雷达转数平稳后开始S2；

S2、在电脑上运行传感器驱动并开始数据采集，围绕被测物体运动或沿被测物体匀速运动，采集点云数据，同时使用摄像设备获取照片数据；

S3.1、激光点云通过RANSAC算法评估局部区域点的凹凸程度来提取边缘和平面特征点；基于提取的特征点构建约束关系，采用关键帧策略进行优化配准和相对转换计算；最后将点云配准至全局地图中；

S3.1中的具体点云配准流程如下：

1)通过将每一帧点云进行RANSAC平面拟合分割为边缘特征点集合

和平面特征点几何/>

得到雷达帧/>

2)根据IMU估计的机器人运动矩阵

将/>

从坐标系B转换到坐标系W，获得

而后在边缘体素地图/>

和平面体素地图/>

中，找到每一个/>

和/>

特征点；

3)计算一个特征与其相关的边缘或平面之间的距离d_ek、d_pk；

4)使用高斯牛顿法最小化下列残差模型求解最优转换：

式中，

为/>

中的一个平面特征，/>

为/>

中的一个平面特征；

5)使用滑窗的方式产生一个包含最近时刻固定帧数的点云地图；因为采用分割边缘点和平面点的方式，因此构成的体素地图M_i由两个子体素地图边特征体素地图

和面特征体素地图/>

组成，其相关性如下：

式中：

S3.2、使用SFM重建稀疏点云，而后使用CMVS重建稠密点云，以提取拍摄的图像特征，生成片面，特征片面聚类，而后得到图像点云；两组点云通过分割后得到轨道部位的点云，采用直通滤波方式对点云进行降噪处理，去除噪点；

S4.1、通过Match scales进行激光点云与图像点云尺度拟合；

S4.2、为在融合两组点云时降低误差，首先使用RANSAC拟合出激光点云和图像点云中的轨道板平面，设定采样最小距离阈值，计算点云中每个点的表面法线n，确定一个邻域半径r，以每个点为原点，选择半径r内的所有近邻并计算PFH特征，对于每个点p_i、p_j，i≠j，在邻域中有法线n_i、n_j，其局部坐标轴计算如下：

而后通过下式计算得到表面法线的角度变换：

式中：(a，φ，θ)为每个点的PFH特征；

然后在图像点云中索引具有相同FPFH特征的一个或多个相似点，从中选取一个点作为激光点云在图像点云中的对应点；最后计算对应点之间的刚体变换矩阵，通过求解对应点变换后的距离误差和来判断当前配准变换的性能；

S4.3、以激光点云

为基准，对于通过图像重建点云/>

有点集合/>

通过配准后，对于/>

有/>

通过Kdtree索引将/>

最邻近/>

的RGB值赋予/>

融合纹理色彩信息；根据K叉树更新点云位置关系：

S5、拟合两组点云，进行信息互补，最终得到轨道完整点云。

2.根据权利要求1所述的一种融合激光雷达与图像数据的轨道三维重建方法，其特征在于，S3.2中，重建点云的重叠聚类公式：

式中：∑_k|C_k|为最小化输出集群的图像总数，α由计算资源决定，I_i为输入影像，δ设置为0.7。

3.根据权利要求1所述的一种融合激光雷达与图像数据的轨道三维重建方法，其特征在于，还包括S6、通过连续性概率分布函数WEIBULL统计两组点云的最邻近点的分布来估计两组点云的拟合精度，并与传统的点云配准的结果进行对比，连续性概率分布函数为：

/>

式中：x为随机变量，λ＞0，λ为比例参数，l＞0，l为形状参数。

Images