CN109993696A - 基于多视点图像的结构物表观全景图矫正拼接方法 - Google Patents

Abstract

基于多视点图像的结构物表观全景图矫正拼接方法，通过多视点方式对目标结构物表面进行影像拍摄，三维重建形成三维重建点云；根据目标结构物外形轮廓，构建经线参数方程和纬线参数方程，使用经线沿纬线扫掠的方式构建出目标结构物表面的三维模型曲面；对三维重建点云和三维模型曲面进行相对位置关系估计；以纬线坐标作为全景图的横坐标，经线坐标作为全景图的纵坐标，根据经线及纬线交点的空间坐标在三维重建相机中的虚拟投影构建影像照片的像素点与矫正后的全景图坐标的对应关系，采用对应关系将影像照片矫正至全景图拼接平面；对矫正后的图像集拼接融合，生成表观全景图。实现结构物非平表面图像的无缝拼接并保持表面物体几何特征的可测量性。

Description

基于多视点图像的结构物表观全景图矫正拼接方法

技术领域

本发明实施例涉及图像处理技术领域，具体涉及一种基于多视点图像的结构物表观全景图矫正拼接方法。

背景技术

结构物表观检查是结构物健康检测的重要手段，对查清结构物健康状态并进行后续养护维修起基础性作用。对结构物外观进行全面拍照，并制作成全景图，可以便于检测人员从细观层面发现病害或缺陷，并从宏观层面掌握病害的分布情况、形态特征以及统计病害数量，是近年来非常流行的结构物外观检测方法。

现阶段，由于结构物尺寸庞大，单视点拍摄很难反映出结构物的全貌。因此，一般需要移动相机或者结合无人机等载体进行多视点的拍摄。采用相机拍摄的过程中，需要事先对相机进行参数校准，及设定物方参考，还需测定相机的像方参数，灵活性差。而对于表面为非平面的结构物，多视点拍摄的照片很难找到理想的拼接面实现无缝的拼接，即便找到合适的拼接面实现了无缝拼接，也因为近大远小的问题难以实现定量的测量。

发明内容

为此，本发明实施例提供一种基于多视点图像的结构物表观全景图矫正拼接方法，解决表面为非平面的结构物难以进行多视点全景图拼接的问题，实现结构物非平表面图像的无缝拼接并保持表面物体几何特征的可测量性。

为了实现上述目的，本发明实施例提供如下技术方案：基于多视点图像的结构物表观全景图矫正拼接方法，包括以下步骤：

1)通过多视点方式对目标结构物表面进行影像拍摄，获取目标结构物的全覆盖及具有重叠的影像照片；

2)对所述影像照片进行三维重建形成三维重建点云；

3)根据所述目标结构物的外形轮廓，构建经线参数方程和纬线参数方程，使用经线沿纬线扫掠的方式构建出所述目标结构物表面的三维模型曲面；

4)对所述三维重建点云和目标结构物表面的三维模型曲面进行相对位置关系估计；

5)以纬线坐标作为全景图的横坐标，经线坐标作为全景图的纵坐标，根据经线及纬线交点的空间坐标在三维重建相机中的虚拟投影构建所述影像照片的像素点与矫正后的全景图坐标的对应关系，并采用所述对应关系将所述影像照片矫正至全景图拼接平面；

6)对矫正后的图像集进行拼接融合，生成结构物表观全景图。

作为基于多视点图像的结构物表观全景图矫正拼接方法的优选方案，所述影像照片的三维重建结果包含下列信息：

1)目标场景的三维重建点云C：

C_i(x_i,y_i,z_i)∈C,i∈[1,n]

2)影像照片拍摄相机的投影方程：

P_j＝K_j·(R_j|t_j),j∈[1,m]

3)影像照片拍摄相机的镜头畸变函数：

(x′,y′,1)＝Dist_j(x,y,1),j∈[1,m]

其中n表示重建出的三维点数目，m表示影像照片的数目；(x,y)表示畸变矫正前的坐标，(x′,y′)表示畸变矫正后的坐标，P_j表示第j号相机的投影矩阵，K_j·表示第j号相机的内参矩阵，R_j|t_j表示第j号相机外参矩阵，R_j为旋转分量，t_j为平移分量；Dist_j为第j号相机的镜头畸变方程，镜头畸变方程可用下式描述：

其中，κ₁，κ₂，κ₃，κ₄，κ₅和κ₆表示径向畸变系数，p₁和p₂表示切向畸变系数，r²＝x²+y²。

作为基于多视点图像的结构物表观全景图矫正拼接方法的优选方案，通过目标结构物外形构建经线参数方程J(η)和纬线参数方程W(ξ)，然后使用经线沿纬线扫掠的方式构建出结构物表面三维模型曲面；

设经线纬线构建起直角坐标系ξOη，将经线纬线坐标(ξ,η)作为拼接平面的坐标；

经线参数方程J(η)和纬线参数方程W(ξ)的形式如下：

通过扫掠方式构建目标结构物表面三维模型曲面的空间坐标(x,y,z)与矫正拼接平面坐标(ξ,η)具有如下关系，即扫掠方式为：

将目标结构物表面三维模型曲面作为影像照片矫正的参考投影面，将所述三维模型曲面离散成r行l列的网格，得到结构物表面的三维模型点云M：

M_k(x_k,y_k,z_k)∈M,k∈[1,r×l]。

作为基于多视点图像的结构物表观全景图矫正拼接方法的优选方案，对影像照片进行矫正前，使用优化算法求解一组变换关系s·T，使得三维重建点云C和目标结构物表面三维模型点云M具有最高的重叠度，即：

其中，s表示比例因子，T为3×3的刚体变换矩阵，表示变换后的重建点，表示点到模型M的距离：

作为基于多视点图像的结构物表观全景图矫正拼接方法的优选方案，影像照片像素点坐标(u,v)与矫正后的全景图拼接平面坐标(ξ,η)的对应关系为：

其中，Dist_j和P_j是由三维重建得到的第j号相机的镜头畸变函数和投影矩阵；s和T是由位置估计过程得到比例因子和刚体变换矩阵；

{f_x(ξ,η),f_y(ξ,η),f_z(ξ,η)}表示全景图拼接平面坐标点(ξ,η)对应的三维模型曲面坐标，(f_x,f_y,f_z)表示通过扫略方式构建的展开平面与空间曲面的三个坐标变换函数。

作为基于多视点图像的结构物表观全景图矫正拼接方法的优选方案，根据所述影像照片像素点坐标和拼接平面对应关系，采用图像插值方法将单张影像照片矫正至拼接平面，矫正过程中通过设置投影角限制和蒙版层进行图像修剪，图像插值过程采用下式描述：

其中，表示第j张影像照片矫正后的图像，表示第j张影像照片的原始图像，表示第j张影像照片在拼接平面上的坐标范围，α表示像素点的投影角。

作为基于多视点图像的结构物表观全景图矫正拼接方法的优选方案，将第j张影像照片的像素(u,v)在三维模型上的投影点记为点的法向量为相机的光心为O_j，则α为向量与法向量为的夹角：

θ表示投影角的极限值；α<θ表示变换时，只对投影角在限值内的像素做矫正变换，排除投影角度过大的像素使矫正后的影像照片拥有较小的畸变以及多图拼接时较小的相差；

所述蒙版层表示为I_m，矫正后的全景图拼接平面坐标矫正过程中忽略所述蒙版层覆盖的像素，通过设置所述蒙版层剔除无需矫正的影像照片区域。

作为基于多视点图像的结构物表观全景图矫正拼接方法的优选方案，对矫正后的图像依次进行平差、搜索缝合线以及融合：

其中Adjust表示平差操作，[Adjust]表示该操作为可选操作，Seam表示搜索缝合线操作，Comp表示融合操作。

本发明实施例具有如下优点：实现了使用多视点拍摄的图像对非平面结构物进行全景图拼接，拼接出的全景图可直接测量目标物的长、宽、面积等平面几何特征，大大拓展了全景图技术在结构物表观检测中的应用范围，适用于桥、涵、隧、坡、房屋建筑等结构物主要部构件的表观检测；

可使用数码相机、手机、无人机等各种设备采集的影像进行全景图制作，使用的设备成本低廉；操作过程无需事先对相机进行参数校准，无需设定物方参考，无需测定相机的像方参数，具有很高的灵活性；

可通过设置投影角限制，设置蒙版等方式构建复杂结构物表观全景图，具有很强的适应性。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例中提供的基于多视点图像的结构物表观全景图矫正拼接方法的流程图；

图2为采用本发明实施例技术方案进行无人机航拍某边坡获得的照片集缩略图；

图3为采用本发明实施例技术方案进行无人机航拍某边坡照片集的三维重建以及坡面模型位置估计结果图；

图4为采用本发明实施例技术方案进行无人机航拍某边坡照片集进行矫正拼接的全景图；

图5为采用本发明实施例技术方案进行无人机航拍某边坡照片集不做投影角限制进行矫正拼接的全景图；

图6为采用本发明实施例技术方案进行无人机航拍某边坡照片集最终拼接结果与无角度限制拼接结果的细部以及相应位置原始航拍照片的对比图；

图7为采用本发明实施例技术方案进行人工手持相机拍摄某施工隧道围岩照片集三维重建以及隧道掌子面临空面模型位置估计结果图；

图8为采用本发明实施例技术方案进行工人手持相机拍摄某施工隧道围岩照片掌子面全景图矫正过程中不使用蒙版和使用蒙版的拼接效果对比图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在理解本发明实施例的技术方案时，本领域技术人员应当清楚的是，“扫掠”为三维曲面构型中的常用方法，扫掠是将二维图形转为三维图形的建模方法，是将一个二维形体对象作为沿某个路径的剖面，而形成的三维图形。

参见图1，提供一种基于多视点图像的结构物表观全景图矫正拼接方法，包括以下步骤：

S1：通过多视点方式对目标结构物表面进行影像拍摄，获取目标结构物的全覆盖及具有重叠的影像照片；

S2：对所述影像照片进行三维重建形成三维重建点云；

S3：根据所述目标结构物的外形轮廓，构建经线参数方程和纬线参数方程，使用经线沿纬线扫掠的方式构建出所述目标结构物表面的三维模型曲面；

S4：对所述三维重建点云和目标结构物表面的三维模型曲面进行相对位置关系估计；

S5：以纬线坐标作为全景图的横坐标，经线坐标作为全景图的纵坐标，根据经线及纬线交点的空间坐标在三维重建相机中的虚拟投影构建所述影像照片的像素点与矫正后的全景图坐标的对应关系，并采用所述对应关系将所述影像照片矫正至全景图拼接平面；

S6：对矫正后的图像集进行拼接融合，生成结构物表观全景图。

具体的，为满足三维重建的要求，影像照片拍摄时需满足50％以上的重叠度，且拍摄不同位置时尽量避免旋转拍摄，而进行平移拍摄。使用基于多视几何的三维重建方法，如运动恢复结构方法(Structure from Motion)对拍摄的影像照片进行三维重建，恢复出影像照片特征点的空间位置，以及拍摄时相机的空间位置和相机参数。三维重建过程只需要进行相似重建，无需进行欧拉重建，因此无需在现场测定参考点，影像照片的三维重建结果包含下列信息：

1)目标场景的三维重建点云C：

C_i(x_i,y_i,z_i)∈C,i∈[1,n]

2)影像照片拍摄相机的投影方程：

P_j＝K_j·(R_j|t_j),j∈[1,m]

3)影像照片拍摄相机的镜头畸变函数：

(x′,y′,1)＝Dist_j(x,y,1),j∈[1,m]

其中n表示重建出的三维点数目，m表示影像照片的数目；(x,y)表示畸变矫正前的坐标，(x′,y′)表示畸变矫正后的坐标，P_j表示第j号相机的投影矩阵，K_j·表示第j号相机的内参矩阵，R_j|t_j表示第j号相机外参矩阵，R_j为旋转分量，t_j为平移分量；Dist_j为第j号相机的镜头畸变方程，镜头畸变方程可用下式描述：

其中，κ₁，κ₂，κ₃，κ₄，κ₅和κ₆表示径向畸变系数，p₁和p₂表示切向畸变系数，r²＝x²+y²。

具体的，通过目标结构物外形构建经线参数方程J(η)和纬线参数方程W(ξ)，然后使用经线沿纬线扫掠的方式构建出结构物表面三维模型曲面。设经线纬线构建起直角坐标系ξOη，将经线纬线坐标(ξ,η)作为拼接平面的坐标。经线参数方程J(η)和纬线参数方程W(ξ)的形式如下：

通过扫掠方式构建目标结构物表面三维模型曲面的空间坐标(x,y,z)与矫正拼接平面坐标(ξ,η)具有如下关系，即扫掠方式为：

将目标结构物表面三维模型曲面作为影像照片矫正的参考投影面，将所述三维模型曲面离散成r行l列的网格，得到结构物表面的三维模型点云M：

M_k(x_k,y_k,z_k)∈M,k∈[1,r×l]。

具体的，对影像照片进行矫正前，使用优化算法求解一组变换关系s·T，使得三维重建点云C和目标结构物表面三维模型点云M具有最高的重叠度，即：

其中，s表示比例因子，T为3×3的刚体变换矩阵，表示变换后的重建点，表示点到模型M的距离：

具体的，影像照片像素点坐标(u,v)与矫正后的全景图拼接平面坐标(ξ,η)的对应关系为：

其中，Dist_j和P_j是由三维重建得到的第j号相机的镜头畸变函数和投影矩阵；s和T是由位置估计过程得到比例因子和刚体变换矩阵；

{f_x(ξ,η),f_y(ξ,η),f_z(ξ,η)}表示全景图拼接平面坐标点(ξ,η)对应的三维模型曲面坐标，(f_x,f_y,f_z)表示通过扫略方式构建的展开平面与空间曲面的三个坐标变换函数。

具体的，根据所述影像照片像素点坐标和拼接平面对应关系，采用图像插值方法将单张影像照片矫正至拼接平面，矫正过程中通过设置投影角限制和蒙版层进行图像修剪，图像插值过程采用下式描述：

其中，表示第j张影像照片矫正后的图像，表示第j张影像照片的原始图像，表示第j张影像照片在拼接平面上的坐标范围，α表示像素点的投影角。设第j张影像照片四个角点变换至拼接平面的坐标为：则：

具体的，将第j张影像照片的像素(u,v)在三维模型上的投影点记为点的法向量为相机的光心为O_j，则α为向量与法向量为的夹角：θ表示投影角的极限值；α<θ表示变换时，只对投影角在限值内的像素做矫正变换，排除投影角度过大的像素使矫正后的影像照片拥有较小的畸变以及多图拼接时较小的相差。所述蒙版层表示为I_m，矫正后的全景图拼接平面坐标矫正过程中忽略所述蒙版层覆盖的像素，通过设置所述蒙版层剔除无需矫正的影像照片区域。

具体的，对矫正后的图像依次进行平差、搜索缝合线以及融合：

其中Adjust表示平差操作，[Adjust]表示该操作为可选操作，Seam表示搜索缝合线操作，Comp表示融合操作。

图1展示了本发明实施例技术方案的六大步骤，参照图1所示的六大步骤，对无人机航拍的某边坡图像进行全景图矫正拼接。首先对图2所示的照片集进行三维重建，并参照边坡设计图纸对边坡的四级坡面及平台进行表面建模。图3分别展示了三维重建结果以及坡面模型位置估计后的三维侧视、俯视、正视以及透视结果。图3中的散点为三维重建得到的实景点云，棱锥体表示重建出的相机位置和姿态。箭头标记出的曲面模式为坡面模型。

然后对图2中所示的照片按照图3三维重建结果以及和模型的相对位置关系进行矫正，矫正过程中限制投影角为35°。最后对矫正后的图像进行拼接融合，得到图4所示的表观全景图。图4所示的全景图分辨率为15192×5989像素，每像素宽度代表1cm。由于各级坡面以及平台均已被矫正拉直，其上缺陷的面积、长、宽可以直接从图上测量。

矫正过程中若不做投影角限制，则最终的拼接结果如图5所示。尽管图5和图4在几何外观上基本一致，但是由于拼接时使用了投影角度偏大的图像，导致使用了杂草遮挡格子梁的图像，如图6左下部分所示，由于杂草图像被拉伸，格子梁完全无法被看见。而矫正过程若使用投影角限制，则矫正过程中只会使用原始图像中垂直坡面部分的影像，从而得到较好的拼接效果，如图6左上所示。从图6对比可以看出，经过投影角筛选后的拼接图像，相较图6右部的原始图像更有利于检测人员发现坡面病害。

使用本发明实施例方法对手持相机拍摄的某施工隧道开挖后的围岩照片进行掌子面全景图拼接。对原始照片进行三维重建后的结果如图7左侧所示。利用隧道断面图构建隧道临空面曲面，利用平面作为掌子面矫正模型，模型位置估计结果如图7右侧所示。得到三维重建结果以及与模型的相对位置关系后，可以使用本发明方法对包含掌子面的照片进行图像矫正。矫正后进行平差、拼接融合可得到掌子面全景图，如图8所示。

由于掌子面非常不平整，因此对矫正后的掌子面照片进行拼接融合前，必须再进行一次平差运算。但是由于部分图像拍摄时包含了隧道的临空面，这部分图像向掌子面模型投影矫正时必然发生很大的变形及错位，从而导致平差融合后得到的最终全景图会出现很大的错位及失真，如图8左侧所示。但如果使用本发明实施例技术方案设置蒙版层的方法，利用临空面模型对掌子面模型的遮挡效应，设置相应的蒙版层，参见图8右上，在矫正过程中对掌子面图像进行裁剪，则最终可拼接出基本无错位和失真的掌子面全景图，如图8右侧所示。

本发明实施例实现了使用多视点拍摄的图像对非平面结构物进行全景图拼接，拼接出的全景图可直接测量目标物的长、宽、面积等平面几何特征，大大拓展了全景图技术在结构物表观检测中的应用范围，适用于桥、涵、隧、坡、房屋建筑等结构物主要部构件的表观检测。本发明实施例可使用数码相机、手机、无人机等各种设备采集的影像进行全景图制作，使用的设备成本低廉。本发明实施例操作过程无需事先对相机进行参数校准，无需设定物方参考，无需测定相机的像方参数，具有很高的灵活性。本发明实施例可通过设置投影角限制，设置蒙版等方式构建复杂结构物表观全景图，具有很强的适应性。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，包括以下步骤：

1)通过多视点方式对目标结构物表面进行影像拍摄，获取目标结构物的全覆盖及具有重叠的影像照片；

2)对所述影像照片进行三维重建形成三维重建点云；

3)根据所述目标结构物的外形轮廓，构建经线参数方程和纬线参数方程，使用经线沿纬线扫掠的方式构建出所述目标结构物表面的三维模型曲面；

4)对所述三维重建点云和目标结构物表面的三维模型曲面进行相对位置关系估计；

5)以纬线坐标作为全景图的横坐标，经线坐标作为全景图的纵坐标，根据经线及纬线交点的空间坐标在三维重建相机中的虚拟投影构建所述影像照片的像素点与矫正后的全景图坐标的对应关系，并采用所述对应关系将所述影像照片矫正至全景图拼接平面；

6)对矫正后的图像集进行拼接融合，生成结构物表观全景图。

2.根据权利要求1所述的基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，所述影像照片的三维重建结果包含下列信息：

1)目标场景的三维重建点云C：

C_i(x_i,y_i,z_i)∈C,i∈[1,n]

2)影像照片拍摄相机的投影方程：

P_j＝K_j·(R_j|t_j),j∈[1,m]

3)影像照片拍摄相机的镜头畸变函数：

(x′,y′,1)＝Dist_j(x,y,1),j∈[1,m]

其中n表示重建出的三维点数目，m表示影像照片的数目；(x,y)表示畸变矫正前的坐标，(x′,y′)表示畸变矫正后的坐标，P_j表示第j号相机的投影矩阵，K_j表示第j号相机的内参矩阵，R_j|t_j表示第j号相机外参矩阵，R_j为旋转分量，t_j为平移分量；Dist_j为第j号相机的镜头畸变方程，镜头畸变方程描述方式为：

其中，κ₁，κ₂，κ₃，κ₄，κ₅和κ₆表示径向畸变系数，p₁和p₂表示切向畸变系数，r²＝x²+y²。

3.根据权利要求1所述的基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，通过目标结构物外形构建经线参数方程J(η)和纬线参数方程W(ξ)，然后使用经线沿纬线扫掠的方式构建出结构物表面三维模型曲面；

设经线纬线构建起直角坐标系ξOη，将经线纬线坐标(ξ,η)作为拼接平面的坐标；

经线参数方程J(η)和纬线参数方程W(ξ)的形式如下：

通过扫掠方式构建目标结构物表面三维模型曲面的空间坐标(x,y,z)与矫正拼接平面坐标(ξ,η)具有如下关系，即扫掠方式为：

将目标结构物表面三维模型曲面作为影像照片矫正的参考投影面，将所述三维模型曲面离散成r行l列的网格，得到结构物表面的三维模型点云M：

M_k(x_k,y_k,z_k)∈M,k∈[1,r×l]。

4.根据权利要求3所述的基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，对影像照片进行矫正前，使用优化算法求解一组变换关系s·T，使得三维重建点云C和目标结构物表面三维模型点云M具有最高的重叠度，即：

其中，s表示比例因子，T为3×3的刚体变换矩阵，表示变换后的重建点，表示点到模型M的距离：

5.根据权利要求1所述的基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，影像照片像素点坐标(u,v)与矫正后的全景图拼接平面坐标(ξ,η)的对应关系为：

其中，Dist_j和P_j是由三维重建得到的第j号相机的镜头畸变函数和投影矩阵；s和T是由位置估计过程得到比例因子和刚体变换矩阵；

{f_x(ξ,η),f_y(ξ,η),f_z(ξ,η)}表示全景图拼接平面坐标点(ξ,η)对应的三维模型曲面坐标，(f_x,f_y,f_z)表示通过扫略方式构建的展开平面与空间曲面的三个坐标变换函数。

6.根据权利要求5所述的基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，根据所述影像照片像素点坐标和拼接平面对应关系，采用图像插值方法将单张影像照片矫正至拼接平面，矫正过程中通过设置投影角限制和蒙版层进行图像修剪，图像插值过程采用下式描述：

其中，表示第j张影像照片矫正后的图像，表示第j张影像照片的原始图像，表示第j张影像照片在拼接平面上的坐标范围，α表示像素点的投影角。

7.根据权利要求6所述的基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，将第j张影像照片的像素(u,v)在三维模型上的投影点记为点的法向量为相机的光心为O_j，则α为向量与法向量为的夹角：

θ表示投影角的极限值；α<θ表示变换时，只对投影角在限值内的像素做矫正变换，排除投影角度过大的像素使矫正后的影像照片拥有较小的畸变以及多图拼接时较小的相差；

所述蒙版层表示为I_m，矫正后的全景图拼接平面坐标矫正过程中忽略所述蒙版层覆盖的像素，通过设置所述蒙版层剔除无需矫正的影像照片区域。

8.根据权利要求1所述的基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，对矫正后的图像依次进行平差、搜索缝合线以及融合：

其中Adjust表示平差操作，[Adjust]表示该操作为可选操作，Seam表示搜索缝合线操作，Comp表示融合操作。