CN112308972A - 一种大规模电缆隧道环境模型重构方法 - Google Patents

Abstract

本发明公开了一种大规模电缆隧道环境模型重构方法，包括步骤：将全景相机前向鱼眼镜头记为F相机，后向鱼眼镜头记为R相机，使用F相机和R相机分别采集不同角度的棋盘格图像、不同曝光量的鱼眼图像；使用全景相机匀速前进采集电缆隧道环境的全景视频S，将全景视频S分割成Q段全景图像序列I；针对每段全景图像序列I，获得F相机和R相机的外部参数、稀疏三维点云，基于球面扫描算法密集重建稠密三维点云；对三维点云进行三角剖分和纹理贴图得到大规模电缆隧道环境三维模型。本发明有效的解决了针孔相机视野小的问题；而且还解决了传统SFM算法所面临的速度问题和精度问题，该方法在基于图像的三维重建技术上具有实际价值。

Description

一种大规模电缆隧道环境模型重构方法

技术领域

本发明涉及计算机视觉技术领域，具体来说，涉及一种大规模电缆隧道环境模型重构方法。

背景技术

基于图像的三维重建，通过计算机对预先采集的现实世界对象的二维图像进行识别、分析、仿真后建立相应模型来虚拟景象，运动恢复结构(Structure From Motion，SFM)就是一种利用二维图像信息，恢复相机运动参数与场景结构的三维重建方法，该方法广泛应用在地理信息系统、机车导航系统，虚拟现实场景漫游系统等。为了更加高效地获取环境信息，增加虚拟漫游场景的真实性和沉浸感，解决三维模型重构中大规模、远距离、场景复杂(例如，弱纹理、无纹理、运动物体、光线暗)等问题，同时提高模型重构的精度，使用宽视野的消费级360全景相机(例如，、Samsung Gear 360、LG 360等)采集的影像进行三维模型重构具有广泛的应用价值。

基于无序球形全景图像数据集，Alain Pagani等人采用近似几何来简化标准SFM各个步骤的计算，将生成的稀疏点云输入到多视角立体系统(Multiple View Stereo，MVS)得到稠密地图。由于采用近似计算和MVS主要适用于平面图像，所以该方法虽然提高了运算效率，但地图精度有所欠缺。Sunghoon等人使用球形全景相机(Spherical PanoramicCamera，SPC)相机采集微小运动的有序全景图，KLT算法用于Harris角点追踪，球面扫描算法用于稠密重建大规模场景，相较于标准SFM该方法在运行速度上有所提高，但只适用于短距离场景。本发明提出了一种大规模电缆隧道环境模型重构方法，该方法基于全景相机采集大规模、远距离、场景复杂的电缆隧道环境全景视频，将全景视频列进行分段重建，每一段全景图像序列使用改进的SFM方法获取全景相机轨迹和环境的稀疏三维信息，球面扫描算法用于建立环境的稠密点云。然后使用非线性优化方法将每段密集点云信息进行融合得到完整的电缆隧道模型。传统SFM算法通常是采用针孔相机作为唯一视觉传感器，首先提取图像SIFT特征进行匹配，然后使用极线几何与PnP算法计算每帧图像的转换矩阵(包括旋转矩阵和平移向量)，通过三角化重构三维点，最后使用捆绑调整(Bundle Adjustment，BA)整体优化转换矩阵和三维点云。改进SFM方法采用的全景相机包含前后两个鱼眼镜头，每个鱼眼镜头的视野覆盖200°，能够采集到更丰富的环境信息，并使用统一相机模型(UnifiedCamera Model，UCM)为鱼眼镜头成像建立精确的几何投影模型。对于每段全景图像序列，基于Debevec方法还原全景图像的动态范围，使用KLT光流算法在高动态范围全景图像上追踪Harris角点，避免描述子的计算与匹配，节省大量时间，同时提高了Harris角点追踪精度。然后，利用基于统一相机模型的BA优化全景相机中两个鱼眼镜头的外部参数和三维地图点云。相比于标准SFM算法和Sunghoon等人提出的算法，我们的方法大大提高了大规模、远距离、复杂环境三维模型构建的效率与精度。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述技术问题，本发明提出一种大规模电缆隧道环境模型重构方法，能够解决上述问题。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种大规模电缆隧道环境模型重构方法，其特征在于，包括步骤：

S1：将全景相机前向鱼眼镜头记为F相机，后向鱼眼镜头记为R相机，使用F相机和R相机分别采集不同角度的棋盘格图像、不同曝光量的鱼眼图像；

S2：使用全景相机匀速前进采集电缆隧道环境的全景视频S，将全景视频S分割成Q段全景图像序列I；

S3：针对每段全景图像序列I，获得F相机和R相机的外部参数、稀疏三维点云，基于球面扫描算法密集重建稠密三维点云；

S4：对三维点云进行三角剖分和纹理贴图得到大规模电缆隧道环境三维模型。

进一步的，所述步骤S1具体包括：

S11：将全景相机的前向鱼眼镜头记为F相机，后向鱼眼镜头记为R相机，使用F相机和R相机分别采集12幅不同角度的棋盘格图像，基于统一相机模型标定全景相机的内部参数，包含F相机的内部参数K^F,ξ^F、R相机的内部参数K^R,ξ^R，以及F相机与R相机之间的内部参数P，其中，K^F,K^R是3×3矩阵,ξ^F,ξ^R是常数，P是3×4矩阵；

S12：使用F相机和R相机分别采集5幅不同曝光量的鱼眼图像，基于Debevec方法标定F相机和R相机的相机响应曲线，非线性相机响应函数分别记为f^F()和f^R()。

进一步的，所述步骤S2具体包括：

S22：固定F相机和R相机的曝光时间Δt^F和Δt^R，使用全景相机匀速前进采集电缆隧道环境的全景视频S，分辨率为1920×1080；将全景视频S分割成Q段全景图像序列I,每段全景图像序列I包含900帧全景图像，相邻段全景图像序列重叠90帧全景图像。

进一步的，所述步骤S3具体包括：

S31：从全景图像序列I中每隔30帧提取一帧全景图像，构成N＝30帧全景图像集I(i),(i＝1,2,…,N),全景图像分辨率为1920×1080；全景图像集I(i)中包含F相机采集的N帧鱼眼图像IF(i)，(i＝1,2,…,N)，R相机采集的N帧鱼眼图像IR(i)(i＝1，2…,N)，鱼眼图像分辨率为960×1080；

S32：利用相机响应函数f^F()和f^R()分别将鱼眼图像IF(i)、IR(i)转化为高动态范围鱼眼图像IFH(i)、IRH(i)；

S33：提取第1帧鱼眼图像IF(1)和IR(1)的Harris角点，并利用KLT算法分别跟踪高动态范围鱼眼图像IFH(i)、IRH(i)上提取的Harris角点；当角点追踪丢失或者角点距离图像中心超过900像素时，则过滤掉该角点；滤波后第i帧第j个Harris角点的图像坐标分别记

和

角点数量分别记为NF和NR；

S34：根据统一相机模型计算图像坐标

对应的球面坐标记为

那么第j个角点在第1帧的球面坐标为

和

其对应的球面坐标系下的3D点坐标可以通过逆深度计算为

其中，

为第j个角点在F相机第1帧下的逆深度，

是

的欧几里德范数，

为第j个角点在R相机第1帧下的逆深度，

是

的欧几里德范数。

S35：利用旋转向量r_i,(r_i∈r)和平移向量t_i,(t_i∈t)将3D点

转换到第i帧球面坐标系下的3D坐标为

并进行归一化得到球面坐标为

S36：构造BA公式最小化球面坐标的距离，表示为

其中，||||_H是Huber核函数，用来增强对异常值的鲁棒性；通过3×4矩阵P将F相机和R相机的外部参数P_i ^F,P_i ^R在同一个参考系中表示，转换关系为

其中，

表示使用Rodrigues公式将旋转向量转换成旋转矩阵；

S37：初始化转换矩阵P_i ^F＝[I_3×30_3×1]，逆深度

米；

S38：使用Ceres优化器求解公式(1)，得到F相机和R相机的外部参数P_i ^F,P_i ^R、稀疏三维点云Point；

S39：将全景图像序列I、全景相机的外部参数P_i ^F和稀疏三维点云Point作为输入，基于球面扫描算法密集重建稠密三维点云Points。

进一步的，所述步骤S4具体包括：

S41：全景图像序列I中相邻段q的第28、29、30帧全景图像分别与q+1的第1、2、3帧全景图像重叠(q∈Q)，提取这6帧全景图像中共有的Harris角点，对应点云Point(q)和Point(q+1)的3D坐标分别记为X(q),X(q+1)；将第1个全景图像序列I所在的世界坐标系作为全局坐标系，使用非线性优化方法依次计算3D点X(q)到3D点X(1)的转换矩阵T(q)；其中T(q)是一个3×4矩阵，3D点转换时使用齐次坐标；

S42：利用转换矩阵T(q)依次将点云Points(q)融入到Points(1)，得到全局一致的稠密三维点云；

S43：对三维点云进行三角剖分和纹理贴图得到大规模电缆隧道环境三维模型。

本发明的有益效果：本发明的积极效果是基于全景相机重建大规模电缆隧道环境模型，有效的解决了针孔相机视野小的问题；而且还解决了传统SFM算法所面临的速度问题和精度问题。该方法在进行基于图像的三维重建技术上具有实际价值，其可以在逆向工程、计算机视觉、虚拟现实/增强现实等领域进行推广使用，其具有算法复杂性低、重建精度高等优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为统一相机模型。

图2为Ricoh Theta S全景相机内外部参数关系。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1-2所示，根据本发明实施例所述的一种大规模电缆隧道环境模型重构方法，其特征在于：将Ricoh Theta S全景相机通过电缆与计算机连接，其具体的方法按以下步骤实现：

步骤1、统一相机模型模模拟鱼眼镜头成像的两个投影过程，如图1所示，首先将空间中的3D点X＝(X,Y,Z)投影到球形坐标系的单位球面上，然后将球面上的投影点再次投影到球心沿Z轴移动-ξ的距离形成针孔投影的相机坐标系的图像平面上，其数学表达式为

其中，

f_x,f_y为焦距，[c_x,c_y]^T为图像中心坐标。即鱼眼镜头的内部参数使用3×3的矩阵

和常数ξ描述。统一相机模型的逆投影函数为

其中，u＝[u,v]^T为图像坐标，

为球面坐标，

为逆深度。

将Ricoh Theta S全景相机的前向鱼眼镜头记为F相机，后向鱼眼镜头记为R相机。使用F相机和R相机分别采集12幅不同角度的棋盘格图像，基于统一相机模型模标定RicohTheta S全景相机的内部参数，包含F相机的内部参数K^F,ξ^F、R相机的内部参数K^R,ξ^R，以及F相机与R相机之间的内部参数P，其中，K^F,K^R是3×3矩阵,ξ^F,ξ^R是常数，P是3×4矩阵。

步骤2、Debevec方法是利用多幅不同曝光量的低动态范围图像计算相机响应曲线。相机响应曲线描述曝光量X与像素值I的非线性函数为

I＝f(X)＝f(EΔt) (3)

其中，E为环境辐照度，Δt为曝光时间。图像像素值I是随着曝光量X的增加而单调增加，因此相机响应函数f()是可逆的，公式(3)可以修改为

lnf^-1(I)＝lnE+lnΔt (4)

公式(4)表明，当曝光时间Δt一定，利用相机响应函数f()将像素亮度I转化为高范围的环境辐照度E，使图像具有更高的动态范围。

使用F相机和R相机分别采集5幅不同曝光量的鱼眼图像，基于Debevec方法标定F相机和R相机的相机响应曲线，非线性相机响应函数分别记为f^F()和f^R()。

步骤3、固定F相机和R相机的曝光时间Δt^F和Δt^R，使用Ricoh Theta S全景相机匀速前进采集电缆隧道环境的全景视频S，分辨率为1920×1080。将全景视频S分割成Q段全景图像序列I,每段全景图像序列I包含900帧全景图像，相邻段全景图像序列重叠90帧全景图像。针对每段全景图像序列I，利用步骤4到步骤12获得F相机和R相机的外部参数P_i ^F(q),P_i ^R(q)、稀疏三维点云Point(q)和密集三维点云Points(q)。

步骤4、从全景图像序列I中每隔30帧提取一帧全景图像，构成N＝30帧全景图像集I(i),(i＝1,2,…,N),全景图像分辨率为1920×1080。全景图像集I(i)中包含F相机采集的N帧鱼眼图像IF(i)，(i＝1,2,…,N)，R相机采集的N帧鱼眼图像IR(i)(i＝1，2…,N)，鱼眼图像分辨率为960×1080。

步骤5、利用相机响应函数f^F()和f^R()分别将鱼眼图像IF(i)、IR(i)转化为高动态范围鱼眼图像IFH(i)、IRH(i)。

步骤6、提取第1帧鱼眼图像IF(1)和IR(1)的Harris角点，并利用KLT算法分别跟踪高动态范围鱼眼图像IFH(i)、IRH(i)上提取的Harris角点。当角点追踪丢失或者角点距离图像中心超过900像素时，则过滤掉该角点。滤波后第i帧第j个Harris角点的图像坐标分别记

和

角点数量分别记为NF和NR。

步骤7、根据统一相机模型计算图像坐标

对应的球面坐标记为

那么第j个角点在第1帧的球面坐标为

和

其对应的球面坐标系下的3D点坐标可以通过逆深度计算为

步骤8、利用旋转向量r_i,(r_i∈r)和平移向量t_i,(t_i∈t)将3D点

转换到第i帧球面坐标系下的3D坐标为

并进行归一化得到球面坐标为

步骤9、构造BA公式最小化球面坐标的距离，表示为

其中，||||_H是Huber核函数，用来增强对异常值的鲁棒性。通过3*4矩阵P将F相机和R相机的外部参数P_i ^F,P_i ^R在同一个参考系中表示，转换关系为

其中，

表示使用Rodrigues公式将旋转向量转换成旋转矩阵。

步骤10、初始化转换矩阵P_i ^F＝[I_3×3 0_3×1]，逆深度

米。

步骤11、使用Ceres优化器求解公式(5)，得到F相机和R相机的外部参数P_i ^F,P_i ^R、稀疏三维点云Point。

步骤12、将全景图像序列I、Ricoh Theta S全景相机的外部参数P_i ^F和稀疏三维点云Point作为输入，基于球面扫描算法(Sphere Sweeping Algorithm)密集重建稠密三维点云Points。

步骤13、全景图像序列I中相邻段q的第28、29、30帧全景图像分别与q+1的第1、2、3帧全景图像重叠(q∈Q)，提取这6帧全景图像中共有的Harris角点，对应点云Point(q)和Point(q+1)的3D坐标分别记为X(q),X(q+1)。将第1个全景图像序列I所在的世界坐标系作为全局坐标系，使用非线性优化方法依次计算3D点X(q)到3D点X(1)的转换矩阵T(q)。其中T(q)是一个3×4矩阵，3D点转换时使用齐次坐标。

步骤14、利用转换矩阵T(q)依次将点云Points(q)融入到Points(1)，得到全局一致的稠密三维点云。

步骤15、对三维点云进行三角剖分和纹理贴图得到大规模电缆隧道环境三维模型。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种大规模电缆隧道环境模型重构方法，其特征在于，包括步骤：

S1：将全景相机前向鱼眼镜头记为F相机，后向鱼眼镜头记为R相机，使用F相机和R相机分别采集不同角度的棋盘格图像、不同曝光量的鱼眼图像；

S2：使用全景相机匀速前进采集电缆隧道环境的全景视频S，将全景视频S分割成Q段全景图像序列I；

S3：针对每段全景图像序列I，获得F相机和R相机的外部参数、稀疏三维点云，基于球面扫描算法密集重建稠密三维点云；

S4：对三维点云进行三角剖分和纹理贴图得到大规模电缆隧道环境三维模型。

2.根据权利要求1所述的大规模电缆隧道环境模型重构方法，其特征在于，所述步骤S1具体包括：

S11：将全景相机的前向鱼眼镜头记为F相机，后向鱼眼镜头记为R相机，使用F相机和R相机分别采集12幅不同角度的棋盘格图像，基于统一相机模型标定全景相机的内部参数，包含F相机的内部参数K^F,ξ^F、R相机的内部参数K^R,ξ^R，以及F相机与R相机之间的内部参数P，其中，K^F,K^R是3×3矩阵,ξ^F,ξ^R是常数，P是3×4矩阵；

S12：使用F相机和R相机分别采集5幅不同曝光量的鱼眼图像，基于Debevec方法标定F相机和R相机的相机响应曲线，非线性相机响应函数分别记为f^F()和f^R()。

3.根据权利要求2所述的大规模电缆隧道环境模型重构方法，其特征在于，所述步骤S2具体包括：

S22：固定F相机和R相机的曝光时间Δt^F和Δt^R，使用全景相机匀速前进采集电缆隧道环境的全景视频S，分辨率为1920×1080；将全景视频S分割成Q段全景图像序列I,每段全景图像序列I包含900帧全景图像，相邻段全景图像序列重叠90帧全景图像。

4.根据权利要求3所述的大规模电缆隧道环境模型重构方法，其特征在于，所述步骤S3具体包括：

S31：从全景图像序列I中每隔30帧提取一帧全景图像，构成N＝30帧全景图像集I(i),(i＝1,2,…,N),全景图像分辨率为1920×1080；全景图像集I(i)中包含F相机采集的N帧鱼眼图像IF(i)，(i＝1,2,…,N)，R相机采集的N帧鱼眼图像IR(i)(i＝1，2…,N)，鱼眼图像分辨率为960×1080；

S32：利用相机响应函数f^F()和f^R()分别将鱼眼图像IF(i)、IR(i)转化为高动态范围鱼眼图像IFH(i)、IRH(i)；

S33：提取第1帧鱼眼图像IF(1)和IR(1)的Harris角点，并利用KLT算法分别跟踪高动态范围鱼眼图像IFH(i)、IRH(i)上提取的Harris角点；当角点追踪丢失或者角点距离图像中心超过900像素时，则过滤掉该角点；滤波后第i帧第j个Harris角点的图像坐标分别记

和

角点数量分别记为NF和NR；

S34：根据统一相机模型计算图像坐标

对应的球面坐标记为

那么第j个角点在第1帧的球面坐标为

和

其对应的球面坐标系下的3D点坐标可以通过逆深度计算为

其中，

为第j个角点在F相机第1帧下的逆深度，

是

的欧几里德范数，

为第j个角点在R相机第1帧下的逆深度，

是

的欧几里德范数。

S35：利用旋转向量r_i,(r_i∈r)和平移向量t_i,(t_i∈t)将3D点

转换到第i帧球面坐标系下的3D坐标为

并进行归一化得到球面坐标为

S36：构造BA公式最小化球面坐标的距离，表示为

其中，||||_H是Huber核函数，用来增强对异常值的鲁棒性；通过3×4矩阵P将F相机和R相机的外部参数P_i ^F,P_i ^R在同一个参考系中表示，转换关系为

其中，

表示使用Rodrigues公式将旋转向量转换成旋转矩阵；

S37：初始化转换矩阵P_i ^F＝[I_3×3 0_3×1]，逆深度

米；

S38：使用Ceres优化器求解公式(1)，得到F相机和R相机的外部参数P_i ^F,P_i ^R、稀疏三维点云Point；

S39：将全景图像序列I、全景相机的外部参数P_i ^F和稀疏三维点云Point作为输入，基于球面扫描算法密集重建稠密三维点云Points。

5.根据权利要求4所述的大规模电缆隧道环境模型重构方法，其特征在于，所述步骤S4具体包括：

S41：全景图像序列I中相邻段q的第28、29、30帧全景图像分别与q+1的第1、2、3帧全景图像重叠(q∈Q)，提取这6帧全景图像中共有的Harris角点，对应点云Point(q)和Point(q+1)的3D坐标分别记为X(q),X(q+1)；将第1个全景图像序列I所在的世界坐标系作为全局坐标系，使用非线性优化方法依次计算3D点X(q)到3D点X(1)的转换矩阵T(q)；其中T(q)是一个3×4矩阵，3D点转换时使用齐次坐标；

S42：利用转换矩阵T(q)依次将点云Points(q)融入到Points(1)，得到全局一致的稠密三维点云；

S43：对三维点云进行三角剖分和纹理贴图得到大规模电缆隧道环境三维模型。

Images