CN113722796B - 一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法 - Google Patents

Abstract

本发明公开了一种基于视觉‑激光雷达耦合的贫纹理隧洞建模方法，包括相机与雷达的参数标定方法、雷达点云数据处理方法、视觉信息与雷达信息的融合方法以及隧洞的BIM建模方法；相机与雷达的参数标定方法是通过标定算法求得相机内参数，将点云数据转换到相机坐标系中，实现雷达点云与相机数据坐标相互转换；雷达点云数据处理方法是指点云数据的过滤和配准方法；视觉信息与雷达信息的融合方法是指通过将视觉特征与雷达深度进行关联，利用视觉里程计对点云进行先验校正；隧洞的BIM建模方法是指将隧洞分段，创建各隧洞段中心线，依次拼接完成；本发明将视觉信息与雷达信息进行数据融合，更精准的完成隧洞的三维建模，提高隧洞作业的安全性和效率。

Description

一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法

技术领域

本发明属于隧洞三维建模领域，特别涉及一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法。

背景技术

随着我国建筑行业的迅猛发展，基础设施建设一直是我国的发展重点和强项，除了在地面上建设，很多建设项目会在地下或是山洞、溶洞中进行，例如在城市建设中修建地铁满足公共交通需求，开凿山体铺设铁路等。对隧道工程来说，在各种因素的作用下，隧道的位置和形状极容易发生变化，结构很不稳定；对于山洞、溶洞工程来说，内部构造复杂、二氧化碳浓度高。因此，为了避免事故的发生，更高效安全的完成隧洞工程的建设，需要事先对隧洞进行三维建模，从而使得整个隧洞的情况可以在三维空间上呈现出来，让我们对隧道信息有更为直观的认识。

不同于地面建筑的三维建模条件，隧洞中存在环境阴暗、光线不足、纹理贫乏的难题，目前隧洞的超前探测方法主要有弹性波反射法、电磁波反射法、红外探测法、直流电法等，这些方法只对掘进机的前方和测方数据质信息进行探测分析，对隧洞整体信息的感知较少。三维激光扫描技术采用的测量方式是非接触式的高速激光测量，在恶劣环境中对被测量物体进行快速的精确扫描，以获得物体的大量点云数据。

然而，现阶段点云数据的处理和快速建模方法仍处于起步阶段，在数据处理和检测精度上有很大提升空间，并且缺乏纹理信息，缺少对环境的表现力度；因此，需要设计一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法来解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法，通过视觉传感器获得隧洞纹理信息，通过激光雷达获取点云信息，将二者所获得信息进行有效合理的补充和组织，融合两传感器信息，最终通过BIM技术完成隧洞的三维建模。

为实现上述技术效果，本发明所采用的技术方案是：一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法，它包括以下步骤：

S1：相机与雷达的参数标定：

通过测量数据，对相机与雷达之间的姿态变换关系进行求解；通过求解得出的参数实现雷达点云与相机数据坐标相互转换；

S2：通过激光雷达获取点云数据，对点云数据进行数据处理；数据处理包括数据过滤以及数据配准；

S3：通过相机获取色彩信息与纹理信息；

S4：视觉信息与雷达信息进行数据融合；

S5：运用BIM技术完成隧洞参数化建模。

优选地，步骤S2中点云数据过滤的方法如下：

S201，去除在扫描过程中受外部环境和墙壁面的不均匀反射导致的坏点和无效点；

S202，去除激光扫描仪的快速扫描导致不同相位上的激光束出现的介质点。

优选地，步骤S2中点云数据配准的方法如下：

通过迭代算法就近搜索点匹配，将多次扫描的点云数据的坐标进行转换，使其在同一坐标系下，从而获得隧洞的整体点云数据。

优选地，步骤S4中视觉信息与雷达信息的融合方法如下：

∑_x，y∈ΩW(x)²(I_xu+I_yv+I_t)²；

其中：(I_xu+I_yv+I_t)表示为一个滑动窗口的大小，则共有(I_xu+I_yv+I_t)²个像素；W(x)是权重函数，通过雷达深度图，将视觉特征与雷达深度进行关联，利用视觉里程计对点云进行先验校正；通过用雷达点云建立一幅深度图，通过深度图恢复出视觉特征的深度，通过对特征点进行光流跟踪，对具有深度值的特征点建立约束求解里程计，估计出相机的运动和姿态。通过雷达深度图，将视觉特征与雷达深度进行关联，利用视觉里程计对点云进行先验校正，利用雷达里程计再对视觉里程计的误差进行校正，保证视觉计算的结果不会因为单目尺度不确定而漂移。最后，将雷达计算出的里程计作为最终定位结果，使用这个姿态信息进行地图的重建，恢复出场景的地图。

优选地，步骤S5中隧洞BIM建模的方法如下：

S501，根据隧洞横断面几何特征将隧道分段，运用Revit和Civil 3D建模软件创建各隧洞段中心线；

S502，建立隧道轮廓簇并将其导入隧道中心线，依次放样融合得到隧道段主体模型；

S503，完成相邻段拼接并导入。

优选地，步骤S1中，通过张正友标定算法求得相机内参数，通过坐标转换将点云数据转换到相机坐标系中，并构建点到屏幕的误差距离，具体方法如下：

P_C为相机坐标系中标定板的坐标；

为相机坐标系中雷达点的坐标；

T_cl为通过最小二乘法得到雷达外参数。

优选地，点云过滤方法选用以下方法中的一种或多种：

a.直接剔除法：将点云数据形成曲线，采用光顺方法对点云数据进行处理；

b.弦角度法：检查点沿扫描线方向与前后两点所形成的夹角与阈值比较，若突然某点的夹角相对周围点较小且超出阈值，则进行处理；

c.弦高差法：检查点到前后两点连线的距离与阈值比较，确定噪点后删除。

本发明的有益效果为：

1，本发明提供的方法通过将视觉信息与雷达信息进行数据融合，更精准的完成隧洞的三维建模，提高隧洞作业的安全性和效率，可以将隧道三维模型整体呈现出来，让施工、运维、检修等工作更为安全，效率更高；

2，本发明提供的方法将隧道色彩、纹理信息与三维点云信息相融合，有效解决了现有技术在数据处理和检测精度上存在不足，并且缺乏纹理信息，缺少对环境的表现力度的问题，本发明提供的方法可以观察到隧道中整体的地质状况，如裂隙的走向等，从而进行更有针对性的科学施工。

附图说明

图1为本发明的视觉-激光雷达三维建模流程图；

图2为本发明的激光与视觉分层融合算法框架；

图3为本发明的BIM参数化建模流程；

具体实施方式

实施例1：

如图1～图2所示，一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法，它包括以下步骤：

S1：相机与雷达的参数标定：

通过测量数据，对相机与雷达之间的姿态变换关系进行求解；通过求解得出的参数实现雷达点云与相机数据坐标相互转换；

S2：通过激光雷达获取点云数据，对点云数据进行数据处理；数据处理包括数据过滤以及数据配准；

S3：通过相机获取色彩信息与纹理信息；

S4：视觉信息与雷达信息进行数据融合；

S5：运用BIM技术完成隧洞参数化建模。

优选地，步骤S2中点云数据过滤的方法如下：

S201，去除在扫描过程中受外部环境和墙壁面的不均匀反射导致的坏点和无效点；

S202，去除激光扫描仪的快速扫描导致不同相位上的激光束出现的介质点。

优选地，步骤S2中点云数据配准的方法如下：

通过迭代算法就近搜索点匹配，将多次扫描的点云数据的坐标进行转换，使其在同一坐标系下，从而获得隧洞的整体点云数据。

优选地，步骤S4中视觉信息与雷达信息的融合方法如下：

∑_x，y∈ΩW(x)²(I_xu+I_yv+I_t)²；

其中：n＝(I_xu+I_yv+I_t)为一个滑动窗口的大小，共有n²个像素；W(x)是权重函数，通过雷达深度图，将视觉特征与雷达深度进行关联，利用视觉里程计对点云进行先验校正；通过用雷达点云建立一幅深度图，通过深度图恢复出视觉特征的深度，通过对特征点进行光流跟踪，对具有深度值的特征点建立约束求解里程计，估计出相机的运动和姿态。通过雷达深度图，将视觉特征与雷达深度进行关联，利用视觉里程计对点云进行先验校正，利用雷达里程计再对视觉里程计的误差进行校正，保证视觉计算的结果不会因为单目尺度不确定而漂移。最后，将雷达计算出的里程计作为最终定位结果，使用这个姿态信息进行地图的重建，恢复出场景的地图。

优选地，步骤S5中隧洞BIM建模的方法如下：

S501，根据隧洞横断面几何特征将隧道分段，运用Revit和Civil 3D建模软件创建各隧洞段中心线；

S502，建立隧道轮廓簇并将其导入隧道中心线，依次放样融合得到隧道段主体模型；

S503，完成相邻段拼接并导入。

优选地，步骤S1中，通过张正友标定算法求得相机内参数，通过坐标转换将点云数据转换到相机坐标系中，并构建点到屏幕的误差距离，具体方法如下：

P_C为相机坐标系中标定板的坐标；

为相机坐标系中雷达点的坐标；

T_cl为通过最小二乘法得到雷达外参数。

优选地，点云过滤方法选用以下方法中的一种或多种：

a.直接剔除法：将点云数据形成曲线，采用光顺方法对点云数据进行处理；

b.弦角度法：检查点沿扫描线方向与前后两点所形成的夹角与阈值比较，若突然某点的夹角相对周围点较小且超出阈值，则进行处理；

c.弦高差法：检查点到前后两点连线的距离与阈值比较，确定噪点后删除。

实施例2：

本实施例中，数据获取采用固定在掘进机构的传感器；传感器使用一台单目相机以及一个单线激光雷达，固定在掘进机器人上，随着掘进机器人的移动不断采集数据，并采用保护装置将传感器保护起来。

S1，视觉传感器与雷达传感器参数标定：

设T_cl为相机与雷达的外参数，为待求解参数；T_cm为相机与标定板的姿态变换关系；利用2D与3D点的对应关系，可以通过标定算法解算出来；

标定板平面在标定板坐标系下的齐次坐标表示为：

P_m＝[0 0 1 0]；

标定板平面在相机坐标系下的方程表示为：

在雷达坐标系下，设雷达点的坐标为相机坐标系下雷达点坐标为/>通过外参数T_cl，将激光雷达点云变换到相机坐标系下：

标定板平面在相机坐标系下的平面方程为P_C，可以构建点到平面的距离误差函数：

S2，信息采集与处理：

通过单目相机获取色彩、纹理信息，进行降噪处理。通过雷达获取三维点云信息，进行点云过滤、点云配准处理。

S3，信息融合：

采用基于梯度的稀疏光流法，LK(Lucas-Kaasade)光流法；假设一个滑动窗口大小为n，则窗口中共有n²个像素，同时设定一个权重函数W(x)，误差越大则权重越小；通过对一个窗口内的像素，求带权重的最小二乘进行求解：

∑_x，y∈ΩW(x)²(I_xu+I_yv+I_t)²；

得到特征点的对应关系后，利用对极几何约束求解相机的运功，得到视觉里程计；

通过贝叶斯滤波的方式进行信息融合，即先使用视觉特征计算出视觉里程计，然后通过视觉里程计对雷达点云进行预先校正，对校正过后的点云，再送入雷达里程计进行求解。最后，将雷达计算出的里程计作为最终定位结果，使用这个姿态信息进行地图的重建，恢复出场景的地图。

S4，隧洞BIM建模：

构建隧洞BIM模型，流程如附图3所示：

(1)运用Civil 3D拾取CAD底图得到隧道中心线在水平面上的投影平面线，接着在平面线的基础上创建相应纵断面图并设置样式、标签集和图层，即可以得到一条初始隧道中心线。此时的隧道中心线因无法确定隧道里程从而无法判定相应断面形式，为了解决此问题，可以给中心线创建标签，在每个主桩号上贴上对应标签，最后在Civil 3D中创建的隧洞中心线；

(2)利用与创建隧洞中心线相似的方法，在Civil 3D中以创建道路的方式创建隧道断面轮廓族。待所有隧道断面轮廓族储备完成后，即可导入创建好的隧道中心线，依次载入各部分隧道轮廓族进行放样融合；

(3)由于各个隧道段轮廓特征差异，因此在将相邻隧道段拼接在一起时，经常出现隧道轮廓道路等对接不齐的问题，针对这种情况，可以在放样融合建立实体模型时加入轮廓转角等参数，将配有转角参数的隧道轮廓族载入到项目中，手动调整轮廓转角实现相邻隧道段拼接对齐；

(4)完成主体结构建模后，根据需求载入变电所、地下风机房等附属结构模型上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (5)

1.一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法，其特征在于：包括以下步骤：

S1：相机与雷达的参数标定：

通过测量数据，对相机与雷达之间的姿态变换关系进行求解；通过求解得出的参数实现雷达点云与相机数据坐标相互转换；具体方法如下：

设T_cl为相机与雷达的外参数，为待求解参数；T_cm为相机与标定板的姿态变换关系；利用2D与3D点的对应关系，可以通过标定算法解算出来；

标定板平面在标定板坐标系下的齐次坐标表示为：

P_m＝[0 0 1 0]；

标定板平面在相机坐标系下的方程表示为：

在雷达坐标系下，设雷达点的坐标为相机坐标系下雷达点坐标为/>通过外参数T_cl，将激光雷达点云变换到相机坐标系下：

标定板平面在相机坐标系下的平面方程为P_C，可以构建点到平面的距离误差函数：

P_C为相机坐标系中标定板的坐标；

为相机坐标系中雷达点的坐标；

T_cl为通过最小二乘法得到雷达外参数；

S2：通过激光雷达获取点云数据，对点云数据进行数据处理；数据处理包括数据过滤以及数据配准；

S3：通过相机获取色彩信息与纹理信息；

S4：视觉信息与雷达信息进行数据融合，具体方法如下：

∑_x，y∈ΩW(x)²(I_xu+I_yv+I_t)²；

其中：(I_xu+I_yv+I_t)为一个滑动窗口的大小，则窗口内共有(I_xu+I_yv+I_t)²个像素；

式中，W(x)是权重函数，通过雷达深度图，将视觉特征与雷达深度进行关联，利用视觉里程计对点云进行先验校正；I_x为像素在该点处x方向上的梯度，I_y为像素在该点处y方向上的梯度，I_t为图像灰度对于时间的变化，u，v分别表示像素在x，y方向上的速度；

S5：运用BIM技术完成隧洞参数化建模。

2.根据权利要求1所述的一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法，其特征在于：步骤S2中点云数据过滤的方法如下：

S201，去除在扫描过程中受外部环境和墙壁面的不均匀反射导致的坏点和无效点；

S202，去除激光扫描仪的快速扫描导致不同相位上的激光束出现的介质点。

3.根据权利要求1所述的一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法，其特征在于：步骤S2中点云数据配准的方法如下：

通过迭代算法就近搜索点匹配，将多次扫描的点云数据的坐标进行转换，使其在同一坐标系下，从而获得隧洞的整体点云数据。

4.根据权利要求1所述的一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法，其特征在于：步骤S5中隧洞BIM建模的方法如下：

S501，根据隧洞横断面几何特征将隧道分段，运用建模软件创建各隧洞段中心线；

S502，建立隧道轮廓簇并将其导入隧道中心线，依次放样融合得到隧道段主体模型；

S503，完成相邻段拼接并导入。

5.根据权利要求2所述的一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法，其特征在于：点云过滤方法选用以下方法中的一种或多种：

a.直接剔除法：将点云数据形成曲线，采用光顺方法对点云数据进行处理；

b.弦角度法：检查点沿扫描线方向与前后两点所形成的夹角与阈值比较，若突然某点的夹角相对周围点较小且超出阈值，则进行处理；

c.弦高差法：检查点到前后两点连线的距离与阈值比较，确定噪点后删除。