CN118052952A - 一种隧道掌子面结构面全景图重建方法及装置 - Google Patents

Abstract

本发明公开了一种隧道掌子面结构面全景图重建方法及装置。本发明首先移动获取隧道掌子面结构面的各局部图像，然后采用基于视觉三维重建的拼接方法，不直接在二维图像层面进行操作，而是先通过局部图像还原隧道掌子面的三维模型，再将三维模型进行正交映射生成掌子面的全景拼接图像，最终生成的图像可以认为是近似正射的，图像畸变更小，还原更真实的掌子面信息。本发明方法克服了单幅掌子面图像边缘畸变与清晰度问题，即使在有物体局部遮挡的情况下也可以获取可用于分析处理的掌子面结构面全景图像。

Description

一种隧道掌子面结构面全景图重建方法及装置

技术领域

本发明涉及隧道探测和计算机视觉技术领域，具体涉及一种隧道掌子面结构面全景图重建方法及装置。

背景技术

在隧道建设的过程中，施工过程中实际揭露的围岩与地勘资料往往有较大的出入，导致施工参数存在不合理性，造成经济损失、工期延误、安全事故等问题，因而根据掌子面围岩情况及时对后续施工方案进行调整是很有必要的。近年来，随着计算机视觉技术的不断发展，通过传统计算机视觉或深度学习的方法检测围岩地质信息的方法不断深入发展，很多方法可以替代人工提取围岩节理，帮助隧道围岩级别的判断。

但考虑到隧道环境条件比较恶劣，基于计算机视觉的方法严重受到直接获取的隧道掌子面图像质量的影响，以往大多数针对隧道围岩节理智能识别的研究所使用的图像清晰度有限，且受制于隧道内复杂环境，实际节理识别效果并不理想。图像拼接技术可以将多张照片拼接成一张无缝的大影像，解决单张照片无法覆盖目标物或单张拍摄存在障碍物的问题。现有图像拼接技术主要通过提取图像中的特征点，构建图像匹配关系，恢复图像之间的单应性变换矩阵，利用透视变换变换局部图像到同一坐标系中生成拼接全景图；该种方式获取的全景图像直接来源于倾斜的局部图像组合，图像正射性较差，不利于隧道结构面场景的后续分析。

因此，设计新的隧道掌子面结构面全景图生成方法，实现掌子面局部图像的拼接，获取掌子面的完整高清图像对于后续采用计算机视觉的方法进一步分析处理，推进隧道建设智能化发展是十分重要的。

发明内容

有鉴于此，本发明提供了一种隧道掌子面结构面全景图重建方法及装置，采用基于单目RGB相机的视觉三维重建技术，恢复掌子面场景的三维模型，并通过空间正射投影的方式，生成场景的全局正射全景图，实现掌子面图像的局部拼接，保证了最终图像的完整性、正射性与清晰性。

本发明的隧道掌子面结构面全景图重建方法，包括：

步骤1，对隧道掌子面结构面进行移动采集图像，获得隧道掌子面在各不同相机视角下的局部图像；

步骤2，提取每幅局部图像的特征点；遍历所有局部图像，对任意两幅局部图像中的所有特征点进行相互匹配，构建图像匹配对；

步骤3，求解各局部图像的相机位姿，具体为：首先根据步骤2构建的图像匹配对，初始化跟踪点Tracks；接着选取两张局部图像作为初始相机视角对，基于跟踪点Tracks进行相机位姿求解，并基于求解得到的相机位姿对跟踪点Tracks进行重构；然后循环添加新的局部图像并进行其相机位姿求解，直到遍历完成所有局部图像，得到所有局部图像的相机位姿以及所有跟踪点Tracks的重构；

步骤4，基于重构的跟踪点Tracks完成隧道掌子面结构面的拍摄场景的稀疏重建；

步骤5，针对各局部图像，根据其相机位姿并结合其邻域局部图像，通过区域生长扩张与深度非线性优化算法进行该局部图像中各像素点的深度估计，完成其深度图重建；

步骤6，根据相机位姿，将各局部图像的深度图投影到拍摄场景，然后基于一致性约束对所有深度图进行融合，完成隧道掌子面拍摄场景的稠密重建；

步骤7，对稠密点云进行表面重建，恢复隧道掌子面结构面的三维表面；

步骤8，利用各局部图像对所述三维表面进行纹理贴图，生成隧道掌子面结构面的纹理贴图模型；

步骤9，计算纹理贴图模型的边界点，根据模型边界点得到全景图的长宽比；遍历纹理贴图模型的三角网格，获取每个网格顶点坐标以及对应的纹理坐标；将每幅局部图像根据纹理坐标进行拼接即可组成最终的隧道掌子面结构面全景图。

较优的，步骤2中，所述提取每幅局部图像的特征点具体为：

采用不同参数的高斯函数作用于该局部图像得到图像高斯金字塔，金字塔中相邻两层进行差分得到高斯差分函数，对高斯差分函数进行泰勒展开，对泰勒展开函数解极值求导函数得到极值点，所述极值点即为特征点。

较优的，步骤2中，采用如下方式进行特征点匹配，构建图像匹配对：

针对各特征点，通过统计其周围像素梯度直方图的方法得到特征向量描述子；利用双向暴力匹配的方法以欧氏距离作为相似度量准则对两幅图像中的所有特征点的描述子进行相互匹配，构建图像匹配对。

较优的，所述步骤3中，所述初始相机视角对两张局部图像满足：该两张局部图像的匹配点数量大于50对；两张局部图像的三角量测角的中值要大于5°；两张局部图像之间满足单应性的内点个数小于60%；两张局部图像中能够成功三角化的匹配对数量要大于50%。

较优的，所述步骤3中，采用基于RANSAC的对极几何方法求解初始相机视觉对的相机位姿；基于相机位姿，采用三角量测的方法，利用两幅局部图像中的匹配对生成跟踪点Tracks的三维坐标；添加新的局部图像后，采用基于RANSAC的P3P的方法求解新添加局部图像的相机姿态，并生成新的跟踪点Tracks的三维坐标。

较优的，所述步骤5中，邻域局部图像的选取方法为：分别计算该局部图像与其他局部图像的邻域图像评分值，选取评分值较高的局部图像作为该局部图像的邻域局部图像，所述邻域图像评分值为：

其中f为两幅局部图像共有的特征点；w _N为两幅局部图像的三角量测角，w _S为两幅局部图像的相似尺度。

较优的，所述步骤6具体为：在局部图像的深度图上通过二维网格做深度采样，得到该深度图的深度点云；循环遍历每幅局部图像的深度，得到各深度图的深度点云；根据一致性约束对所有深度图的深度点云进行融合，实现对所有深度图的融合，完成隧道掌子面拍摄场景的稠密重建。

较优的，所述步骤7中，基于泊松表面重建方法对稠密点云进行表面重建。

本发明还提供了一种隧道掌子面结构面信息采集装置，包括：运算平台、环形无影光源、工业相机、工业镜头、显示屏、握持手柄、锂电池和碳纤维骨架；

其中，运算平台固定在碳纤维骨架的中后部，环形无影光源固定在碳纤维骨架的中部；工业相机和工业镜头固定在碳纤维骨架的最前端；锂电池固定在碳纤维骨架的中部；显示屏固定在碳纤维骨架的后部；握持手柄固定在碳纤维骨架的下方；

工业相机、显示屏与运算平台数据连接；锂电池为运算平台、环形无影光源和显示屏供电；其中，将装置正对隧道掌子面结构面，均匀移动，使得工业相机获取掌子面结构面在不同相机视角下的局部图像并实时输入运算平台中；运算平台采用上述全景图重建方法实现隧道掌子面结构面全景图重建，并显示在显示屏上。

有益效果：

（1）本发明首先移动获取隧道掌子面结构面的各局部图像，然后采用基于视觉三维重建的拼接方法，不直接在二维图像层面进行操作，而是先通过局部图像还原隧道掌子面的三维模型，再将三维模型进行正交映射生成掌子面的全景拼接图像，最终生成的图像可以认为是近似正射的，图像畸变更小，还原更真实的掌子面信息。本发明方法克服了单幅掌子面图像边缘畸变与清晰度问题，即使在有物体局部遮挡的情况下也可以获取可用于分析处理的掌子面结构面全景图像。

（2）通过对初始相机视角对局部图像的筛选，可以为后续增量式位姿恢复打下良好的基础。如果初始相机视角选取不好，可能会导致初始误差过大的情况，通过误差的累计和传递效应，后续增量式位姿恢复可能会直接失败。因而本设计中对包括匹配点数量及基线长度等参数进行了要求，保证了初始位姿恢复的可行性与准确性，为整体位姿恢复的准确稳定打下了基础。

（3）本发明提供的采集装置，采用模块化设计，硬件结构稳定便于更换，软件上算法输入信息简单输出信息丰富。本发明主体骨架采用基于多螺纹固定孔碳纤维板的设计方案，轻便易用，主要硬件均以螺钉连接的方式固定在自设计骨架上，便于维修更换，同时也方便后续安装双目相机、激光雷达等其他传感器。

同时，运算平台中，全景图重建算法经过组织后可以主要分离为运动恢复结构模块、深度图重建模块、表面重建及全景图映射模块，每个模块之间采用顺序化输出结构，系统输入仅为单目相机获取的掌子面RGB图像，最终输出可以包括结构面全景图、稀疏点云、稠密点云等数字表征，输出信息种类丰富，便于后续如三维模型检验等其他工程应用。

附图说明

图1为本发明掌子面结构面全景图生成算法框架。

图2为本发明方法输出效果图。

图3为本发明方法中间过程图。

图4为运动恢复结构算法流程图。

图5为本发明小型嵌入式装置结构设计图。

图6为本发明小型嵌入式装置实物效果图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种隧道掌子面结构面全景图重建方法，首先对隧道掌子面进行移动采集图像，获得隧道掌子面结构面的各局部图像；然后提取每幅局部图像的特征点并进行特征匹配，通过增量式的运动恢复结构获取每幅图像之间的位姿关系，并将提取到的特征点三角化到三维空间进行稀疏重建。接着将输出的稀疏点云与位姿关系作为输入送往多视角立体重建模块，通过并行化的图像像素深度恢复，通过区域生长进行滚动优化获得每个像素的稳定深度，并通过深度融合恢复场景稠密点云。对稠密点云进行表面重建，恢复出的掌子面结构面的三维表面。最后借助原始RGB图像的纹理坐标映射实现三维表面的纹理贴图，并通过二维的正交映射实现三维表面的二维图像映射，生成最终的掌子面正射全景图像。本发明方法框架图如图1所示，主要包括如下三个算法设计：

算法设计一、掌子面图像运动恢复结构及稀疏重建算法

根据输入的单目RGB掌子面结构面的各局部图像，依次在每幅局部图像中提取特征点，并进行所有局部图像之间的特征点匹配。

本实施例中，提取图像的高斯差分金字塔极值点为图像特征点，该形式特征点具有尺度不变性、旋转不变性、光度变化不变性，且对视角变化和仿射变化具有一定程度的稳定性的优势。本发明亦可采用获取Harris角点、ORB算法等方式获取特征点。

具体的，本实施例中，首先采用不同参数的高斯函数作用于该局部图像得到图像高斯金字塔，然后在高斯差分金字塔中寻找极值点：可通过在尺度空间中每个像素与其周围26个像素进行比较来确定极值点。本实施例为了获取亚像素精度的极值点，对高斯差分函数进行泰勒展开得到：

其中f(x)为高斯差分函数，为图像金字塔中真正极值点的位置，x ₀为提取到的初步的离散极值点坐标。

根据泰勒展开函数，解极值求导函数可以得到亚像素的极值点位置和极值函数分别为：

其中，表示亚像素精度极值点相对于离散极值点的差值。

本发明可以采用最近邻搜索、快速最近邻匹配等方式进行局部图像之间的特征点匹配，本实施例中，根据提取到的特征点通过统计周围像素梯度直方图的方法得到特征向量描述子，并利用双向暴力匹配的方法以欧氏距离作为相似度量准则对两幅图像中的所有特征点进行相互匹配，构建图像匹配对。

在完成了图像匹配，构建了局部图像两两之间的对应关系之后，即可建立图像连接图；图像连接图根据图像匹配结果描述了所有局部图像相机视角之间的连接关系，根据图像连接图即可对图像中的跟踪点（Tracks）进行生成。

Track即描述了一个三维特征点在所有不同相机视角局部图像中出现的匹配关系，其将多个相机视角对应的匹配点连接起来，并共同对应到三维空间中同一个三维点。在生成所有的Track之后，选择两张局部图像作为初始相机视角对，对极几何重建进行初始化。考虑到初始相机对位姿恢复带来的误差会随着累计和传递效应在后续图像位姿恢复中不断放大，因此本实施例通过对初始相机视角对的筛选，保障了后续整体位姿恢复的准确性。本实施例中要求初始相机视角对的两张局部图像的匹配点数量大于50对；两张局部图像的相机视角之间的基线足够长即其三角量测角的中值要大于5°；两张局部图像的相机视角之间满足单应性（Homography）的内点个数小于60%；两张局部图像的相机视角中能够成功三角化的匹配对数量要大于50%。

在选择完成了初始相机视角对的局部图像后，根据初始相机视角对之间的匹配点进行Tracks的重建。采用基于RANSAC的对极几何方法，首先对初始相机视角对之间的位姿变换进行求解，其表达为：

其中，x ₁、x ₂分别为图像1、2中相配对的特征点的归一化像平面坐标，p ₁、p ₂分别为对应的特征点像素坐标，E被定义为本质矩阵，F被定义为基础矩阵，两者均描述了两幅图像对应匹配点的空间位置关系。

根据特征点位置关系解算出基础矩阵F，根据基础矩阵F即可分解出初始相机视角对的相机位姿矩阵。采用三角量测的方法，利用两幅图像中的匹配对生成三维空间中的tracks三维坐标，其方式为：

其中：

为相机的投影矩阵，P _i1、P _i2、P _i3分别为第i个投影矩阵的前三行，X为三维空间中三维点坐标。

对初始相机视角对重建出的跟踪点Tracks的相对位姿进行全局的捆绑调整，构建重投影误差关于相机位姿与跟踪点Tracks重建点的最小二乘优化函数，采用L-M优化的方法对整体误差进行优化。

接下来，添加新的相机视角局部图像，采用基于RANSAC的P3P的方法还原新增局部图像的相机姿态，重构出新的三维空间的跟踪点Tracks；通过不断循环增量添加新的相机视角局部图像及跟踪点Tracks重构，当遍历完成所有相机视角局部图像，完成对所有局部图像相机视角的位姿恢复以及所有跟踪跟踪点Tracks的重构。

基于重构的跟踪点Tracks即完成隧道掌子面结构面的拍摄场景的稀疏重建。

算法设计二、掌子面多视角立体及表面稠密重建算法

多视角立体是指从多幅不同视角的局部图片，通过寻找图片中相匹配的像素点，将几乎全部的像素点转换为三维带有深度的空间点，生成图片场景的稠密点云的过程。算法设计一中已基于运动恢复结构算法获取得到每幅掌子面结构面局部图像的相机位姿以及特征点稀疏点云信息，本部分设计对每一副掌子面结构面局部图像重建其深度图，并对所有局部图像的深度图进行融合，生成场景稠密点云。

对于某帧待恢复深度的掌子面结构面局部图像，首先将该局部图像作为参考图像，并在所有局部图像中筛选出该参考图像的邻域局部图像，用于构成立体图像对便于深度估计。邻域局部图像的直观选择标准为：和参考图像具有相同内容、外观和尺度，以保证在参考图像中出现过的像素块，有很大概率同样会在邻域局部图像中出现以进行匹配。

本实施例采用如下邻域图像评分方程对输入的各局部图像进行评价，评分值较高的局部图像即为该参考图像的邻域局部图像：

其中，F _V为邻域图像中的所有特征点，F _R为参考图像中的所有特征点；f为两张局部图像的共有全部特征点，共有特征点越多评分函数分值越高；w _N为两张局部图像之间的三角量测角，三角量测角越大，评分函数分值越高；w _s为两张局部图像之间的尺度相似程度，尺度相似程度越高，评分函数分值越高。

完成了邻域局部图像的选择后，针对参考图像中某一待深度估计的像素点，通过区域生长扩张与深度非线性优化进行深度的估计。具体为：首先对稀疏重构后的各特征点进行深度估计；然后以特征点作为初始的种子点，将其邻域像素点不断添加到多视角立体重建的队列中，初始种子点为邻域点提供了良好的深度、法线和置信度初始值；最终利用优化函数实现整个像素区域的生长计算。

深度非线性优化是与区域生长扩张紧密并行的，其主要目的是通过优化当前一小块区域在三维空间中对应的面片的深度和方向，以最大化优化该部分区域在局部邻域图中匹配的光度一致性。其中，构建的关于光度误差的非线性优化模型的优化函数为：

其中，为参考图像中特定一点的像素光度，/>为第k个邻域图像根据图像位姿投影到参考图像中相同一点的像素光度，c _k为第k个邻域图像的颜色调整系数。

优化变量即为像素的深度h、面片块的法向量h _s、h _t，以及引入的颜色调整系数c _k。构建优化函数关于优化变量的L-M迭代方程，主要针对像素深度h进行优化，并每隔5次迭代对面片法向量进行优化。经过区域生长与深度优化的不断递推，即可完成对参考图像所有像素深度的估计，生成对应的图像深度图。

在获得了所有局部图像的深度图之后，在每幅深度图上通过二维网格做深度采样，得到该深度图的深度点云；循环遍历每幅局部图像的深度图，得到各深度图的深度点云；最后根据基本的一致性约束对所有深度图的深度点云进行融合，实现对所有深度图的融合，完成隧道掌子面拍摄场景的稠密重建。

最终通过深度图融合生成的稠密点云信息中包含场景的点云位置信息、点云颜色信息、点云法向量信息、点云尺度信息以及点云置信度信息，其以.ply的格式保存为稠密点云文件。

算法设计三、掌子面表面重建算法及全景图像映射算法

算法设计二得到了在不同相机视角下的全局稠密点云图像。为了最终获得掌子面结构面的正射全景图像，需要对稠密点云进行表面重建，生成具有表面的三维模型文件，以用于后续的平面映射。

表面重建的基本思想是三维空间中的已知的稠密点云代表了空间物体表面的位置，点云所带有的法向量代表了表面内外的方向，通过对物体表面隐式地拟合一个指示函数，可以对物体表面进行一个平滑的估计。可采用Delauny三角剖分、多层次单位分解、浮动比例尺等表面重建方法。

本实施例采用基于泊松表面重建的方法对稠密点云进行表面重建，恢复隧道掌子面结构面的三维表面。泊松重建利用了PCL中的表面重建模块进行了实现，并直接利用了稠密重建出的点云法向量作为每个点的法线方向，省去了计算法向量的步骤，实现加速。利用了KDTree加速遍历方法，将输入的点云和法向量进行泊松重建，生成多边形网格，实现掌子面表面的数字重建。

三维表面模型是由很多三角面片构成的致密的表面，一定程度上可以表征掌子面结构面的特点，为了拼接合成掌子面结构面正射全景影像，需要得到更逼真的三维模型，即通过最初的单目RGB局部图像恢复三维模型纹理，以生成具有良好可视性的三维模型即纹理贴图模型。

具体的，首先要进行视角选择，即针对三维表面模型中给定的三角面片，在所有视角图像中进行选择最佳的唯一视角，用于获取纹理信息。选择三角面片对应视角的基本思想是选择所有候选视角中可视三角面片的、合适尺度与具有充足细节丰富程度的视角。综合以上三条评价指标，建立了如下所示的量化函数：

其中，F _i和F _j均为三维表面模型中的三角面片。E _data为量化函数的数据项，用于直接计算三角面片对应指定视角的投影三角形平均梯度与三角形面积，视角与三角面片尺度的匹配程度越好，细节越丰富时该数据项的值越小。E _smooth用于表征两个相邻三角面片为不同视角对应的惩罚项，最终取E(l)最小的对应视角选择方案作为最终方案，以满足三条指标的选择标准，赋予每个三角面片指定的视角标签。

获取了每个三角面片对应的视角之后，需要获取三角面片中每个三维点对应在视角图像上的纹理坐标，以实现通过纹理图像对模型的贴图。通过视角选择之后可以确定每个三角面片对应的纹理图像，接着将三角面片进行二维投影到对应的图像上，截取图像中最小包围盒范围内的图像作为待贴图的纹理图像，接着将纹理图像中投影的坐标进行归一化得到纹理坐标。将图像中的（u，v）包围盒坐标全部重映射到（0，1）范围内，使得最终的纹理图像构成一张正方形，即可得到纹理贴图模型。

在获得了三维纹理贴图模型后，系统得到了一个.Obj格式的三维模型文件。采用PCL库对保存的三维纹理贴图模型进行读取；接下来根据输入的三维模型计算边界点，使得生成的照片能够适合整个模型，根据模型边界点之间的x、y方向的差与指定分辨率相乘即可得到最终图像的长宽大小；接下来通过遍历三角网格实现对每个网格顶点坐标以及对应的纹理坐标的获取；最后通过OpenCV实现对纹理图像的读取，根据图像实现对输出图像位深度的初始化，并且将每幅图像根据纹理坐标进行拼接即可组成最终的掌子面正射全景图像。

本发明全景图重建方法，首先通过增量式运动恢复结构恢复无序掌子面单目RGB局部图像的相机位姿；利用局部图像之间的联系，根据解算的相机位姿反投影特征点，生成掌子面结构面场景的稀疏点云图；接着在光度一致性假设下，利用多视角立体技术，对参考图像的相机视角不断进行邻域局部图像视角选择，使用区域生长扩张的方法以特征点为种子点不断扩张优化参考图像的像素深度，得到每幅掌子面结构面局部图像的深度图，并进行深度融合获得掌子面结构面场景稠密点云；然后以稠密点云为输入，使用泊松表面重建方法进行表面重建，生成具有表面的三维模型文件，并对生成的三维模型进行纹理贴图；最后将原始掌子面结构面局部图像与纹理贴图模型建立联系，通过正交映射的方法对纹理贴图模型进行二维映射，获得隧道掌子面结构面的全景二维正射拼接高清图像。重构的全景图场景覆盖完整、分辨率高并且正射性好，便于后续进一步的图像识别与处理。

本发明还提供了一种隧道掌子面结构面信息采集装置，具有小型化、轻量化、稳定性的特点，便于部署常用的数据采集及图像处理算法。本发明采集装置的结构设计图如图5所示，实物图如图6所示，包括：嵌入式运算平台1、环形无影光源2、工业相机3、工业镜头4、嵌入式显示屏6、握持手柄7、智能锂电池5和碳纤维骨架8。

其中，碳纤维骨架8采用碳纤维材料制成，骨架上保留有多种安装孔用于安装其他模块。为进一步提高碳纤维骨架8的轻便性，可以将碳纤维骨架8的一部分采用碳纤维材料制成，一部分采用PLA材料利用3D打印出来，然后将两部分采用螺钉固定，该碳纤维骨架在确保强度高的条件下更轻量化，更便于隧道内部进行握持探测。

嵌入式运算平台1、环形无影光源2、高分辨率工业相机3、工业镜头4和嵌入式显示屏6均采用模块式设计，方便维修升级以及更换传感器等操作。

其中，嵌入式运算平台1固定在碳纤维骨架8的中后部，以调节适应重心；

环形无影光源2可以给隧道内部探测环境提供均匀的无影光源，是工业相机获取图像的补充光源，通过3D打印材料转接竖直固定在碳纤维骨架8的中部；

工业相机3与工业镜头4是实现图像获取的核心，其位于碳纤维骨架8的最前端，通过安装固定孔的方式直接与碳纤维骨架相连；

智能锂电池5是装置的唯一能源来源，为了电气化连接方便，将其固定在整个碳纤维骨架8的中部，用3D打印材料进行承载，安全牢靠；

嵌入式显示屏6固定在碳纤维骨架8的后部，采用三角形结构与碳纤维骨架相连，形状规整，符合人体工学；

握持手柄7便于隧道内部装置手持使用，固定在碳纤维骨架8的下方，采用圆筒状，占用体积小，结构稳定。

使用时，通过技术人员手握握持手柄，根据嵌入式显示屏6中显示的内容将装置正对隧道掌子面结构面，均匀移动，使得工业相机3充分获取掌子面图像并实时输入嵌入式运算平台1中，运算平台1采用上述全景图重建方法实现隧道掌子面结构面全景图重建，并显示在显示屏6上。通过简单移动即可获取丰富的结构面局部图像，且集成了补光措施与嵌入式计算，满足多种隧道探测需求，信息获取更为方便。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种隧道掌子面结构面全景图重建方法，其特征在于，包括：

步骤1，对隧道掌子面结构面进行移动采集图像，获得隧道掌子面在各不同相机视角下的局部图像；

步骤2，提取每幅局部图像的特征点；遍历所有局部图像，对任意两幅局部图像中的所有特征点进行相互匹配，构建图像匹配对；

步骤3，求解各局部图像的相机位姿，具体为：首先根据步骤2构建的图像匹配对，初始化跟踪点Tracks；接着选取两张局部图像作为初始相机视角对，基于跟踪点Tracks进行相机位姿求解，并基于求解得到的相机位姿对跟踪点Tracks进行重构；然后循环添加新的局部图像并进行其相机位姿求解，直到遍历完成所有局部图像，得到所有局部图像的相机位姿以及所有跟踪点Tracks的重构；

步骤4，基于重构的跟踪点Tracks完成隧道掌子面结构面的拍摄场景的稀疏重建；

步骤5，针对各局部图像，根据其相机位姿并结合其邻域局部图像，通过区域生长扩张与深度非线性优化算法进行该局部图像中各像素点的深度估计，完成其深度图重建；

步骤6，根据相机位姿，将各局部图像的深度图投影到拍摄场景，然后基于一致性约束对所有深度图进行融合，完成隧道掌子面拍摄场景的稠密重建；

步骤7，对稠密点云进行表面重建，恢复隧道掌子面结构面的三维表面；

步骤8，利用各局部图像对所述三维表面进行纹理贴图，生成隧道掌子面结构面的纹理贴图模型；

步骤9，计算纹理贴图模型的边界点，根据模型边界点得到全景图的长宽比；遍历纹理贴图模型的三角网格，获取每个网格顶点坐标以及对应的纹理坐标；将每幅局部图像根据纹理坐标进行拼接即可组成最终的隧道掌子面结构面全景图。

2.如权利要求1所述的方法，其特征在于，步骤2中，所述提取每幅局部图像的特征点具体为：

采用不同参数的高斯函数作用于该局部图像得到图像高斯金字塔，金字塔中相邻两层进行差分得到高斯差分函数，对高斯差分函数进行泰勒展开，对泰勒展开函数解极值求导函数得到极值点，所述极值点即为特征点。

3.如权利要求1或2所述的方法，其特征在于，步骤2中，采用如下方式进行特征点匹配，构建图像匹配对：

针对各特征点，通过统计其周围像素梯度直方图的方法得到特征向量描述子；利用双向暴力匹配的方法以欧氏距离作为相似度量准则对两幅图像中的所有特征点的描述子进行相互匹配，构建图像匹配对。

4.如权利要求1所述的方法，其特征在于，所述步骤3中，所述初始相机视角对两张局部图像满足：该两张局部图像的匹配点数量大于50对；两张局部图像的三角量测角的中值要大于5°；两张局部图像之间满足单应性的内点个数小于60%；两张局部图像中能够成功三角化的匹配对数量要大于50%。

5.如权利要求1或4所述的方法，其特征在于，所述步骤3中，采用基于RANSAC的对极几何方法求解初始相机视觉对的相机位姿；基于相机位姿，采用三角量测的方法，利用两幅局部图像中的匹配对生成跟踪点Tracks的三维坐标；添加新的局部图像后，采用基于RANSAC的P3P的方法求解新添加局部图像的相机姿态，并生成新的跟踪点Tracks的三维坐标。

6.如权利要求1所述的方法，其特征在于，所述步骤5中，邻域局部图像的选取方法为：分别计算该局部图像与其他局部图像的邻域图像评分值，选取评分值较高的局部图像作为该局部图像的邻域局部图像，所述邻域图像评分值为：

其中f为两幅局部图像共有的特征点；w _N为两幅局部图像的三角量测角，w _S为两幅局部图像的相似尺度。

7.如权利要求1所述的方法，其特征在于，所述步骤6具体为：在局部图像的深度图上通过二维网格做深度采样，得到该深度图的深度点云；循环遍历每幅局部图像的深度，得到各深度图的深度点云；根据一致性约束对所有深度图的深度点云进行融合，实现对所有深度图的融合，完成隧道掌子面拍摄场景的稠密重建。

8.如权利要求1所述的方法，其特征在于，所述步骤7中，基于泊松表面重建方法对稠密点云进行表面重建。

9.一种隧道掌子面结构面信息采集装置，其特征在于，包括：运算平台（1）、环形无影光源（2）、工业相机（3）、工业镜头（4）、显示屏（6）、握持手柄（7）、锂电池（5）和碳纤维骨架（8）；

其中，运算平台（1）固定在碳纤维骨架（8）的中后部，环形无影光源（2）固定在碳纤维骨架（8）的中部；工业相机（3）和工业镜头（4）固定在碳纤维骨架（8）的最前端；锂电池（5）固定在碳纤维骨架（8）的中部；显示屏（6）固定在碳纤维骨架（8）的后部；握持手柄（7）固定在碳纤维骨架（8）的下方；

工业相机（3）、显示屏（6）与运算平台（1）数据连接；锂电池（5）为运算平台（1）、环形无影光源（2）和显示屏（6）供电；

其中，将装置正对隧道掌子面结构面，均匀移动，使得工业相机（3）获取掌子面结构面在不同相机视角下的局部图像并实时输入运算平台（1）中；运算平台（1）采用如权利要求1~8任意一项所述的全景图重建方法实现隧道掌子面结构面全景图重建，并显示在显示屏（6）上。