CN115830246B - 一种基于增量式sfm的球面全景影像三维重建方法 - Google Patents

Abstract

本发明公开了一种基于增量式SFM的球面全景影像三维重建方法，方法包括以下步骤：基于空间约束和顺序约束进行全景影像特征匹配，得到全景影像中两视影像的可靠特征匹配点；针对可靠特征匹配点，采用基于增量式SFM方法恢复全景影像的位置T和姿态R信息；根据位置T和姿态R信息，采用多视立体匹配算法生成密集匹配点云。本发明有益效果是：满足了基于球面全景影像的三维重建需求，具有巨大的实际工程应用价值。

Description

一种基于增量式SFM的球面全景影像三维重建方法

技术领域

本发明涉及三维重建领域，尤其涉及一种基于增量式SFM的球面全景影像三维重建方法。

背景技术

城市街道和室内环境已成为当前实景三维中国建设的重要内容。结合卫星、航空飞机、低空无人机和地面移动测量车等遥感平台，平面透视相机成为最重要的传感器。但是，面向上述复杂场景存在相机连续跟踪困难和数据采集代价高的问题。因此，亟需更加高效的数据采集方式，满足城市街道和室内场景的三维重建需求。

球面全景相机，也称为360相机，能覆盖采集点360°×180°的视角范围，获取具有全方位视场角的影像，已被广泛应用于安防监控、街景地图、机器人导航等领域。与平面透视相机相比，球面全景相机具有更大的视场角，可以实现复杂场景下的视角连续跟踪，并降低数据采集工作量，因而在城市街道和室内环境三维重建中得到越来越多关注。

现有方法有针对全景影像处理单个步骤的改进；也有研究者尝试利用全景影像进行三维重建。但是，现有研究主要集中于专业级全景相机的改进，或者与SLAM（Simultaneous Localization and Mapping）系统集成，目的在于满足机器人的导航和定位。随着球面全景相机普及，如消费级Insta360、Ricoh THETA等，以及影像处理技术发展，基于球面全景影像的三维重建需求将会越来越大。

发明内容

为了解决现有的技术方案还不能满足基于球面全景影像的三维重建需求的问题，本发明提供一种基于增量式SFM（Structure from Motion）的球面全景影像三维重建方法，在球面全景相机成像模型的基础上，设计了基于球面同名点的影像相对定向、基于物方-球面三维点的绝对定向，以及平差优化代价函数，建立了一套适用于球面全景影像的增量式SFM方法。

本申请方法包括以下步骤：

S1：基于空间约束和顺序约束进行全景影像特征匹配，得到全景影像中两视影像的可靠特征匹配点；

S2、针对可靠特征匹配点，采用基于增量式SFM方法恢复全景影像的位置 T和姿态 R信息；

S3、根据位置 T和姿态 R信息，采用多视立体匹配算法生成密集匹配点云。

本发明提供的有益效果是：满足了基于球面全景影像的三维重建需求，具有巨大的实际工程应用价值。

附图说明

图1是球面相机成像模型示意图；

图2是本发明方法流程示意图；

图3是共面约束原理示意图；

图4是基于增量式SFM全景影像定位定向流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

在具体阐述本申请前，先对球面全景三维重建的基础原理进行简单说明。

球面全景影像具有不同的存储方式和相机成像模型，请参考图1，图1是球面相机成像模型示意图；

考虑到球面影像不利于存储和处理，球面全景影像常采用等距圆柱投影（Equirectangular projection，ERP）表示。全景相机成像模型则建立了物方三维点到二维影像点的映射关系。

图1中的(a)图展示了物方三维点 P到球面投影点 p；

图1中的(b)图展示了从球面投影点 p到二维影像点( I _x , I _y )；

对于球面投影点 p，可用球经纬度坐标系和球直角坐标系 O- XYZ表示。其中，球直角坐标系 O- XYZ的Y轴垂直向下，Z轴指向二维影像的像主点。

假设经过球体中心点 O和投影点 p的大圆与赤道平面的交线为 l。那么，投影点 p的经度 θ和纬度定义为交线 l分别与Z轴和 OP的夹角。球面投影点 p的经纬度坐标与直角坐标( x, y, z)之间的转换关系如公式（1）所示。其中，球体半径设定为1。

（1）

根据图1（b）可知，球面经纬度坐标与二维影像平面坐标( I _x , I _y )的转换关系可以用公式（2）表示。其中， W和 H分别为影像的宽度和高度； c _x 和 c _y 为影像的像主点坐标。因此，公式（1）和（2）建立了全景影像三维球面坐标与二维影像坐标的转换关系。

（2）

假设在世界坐标系 O- X _W Y _W Z _W 中，全景影像的姿态和位置分别表示为旋转矩阵 R和平移向量 T。那么，物方三维点 P _W 对应的全景球面投影点 p可经过公式（3）获得。因此，公式（1）、（2）和（3）构成了球面全景相机的成像模型。

（3）

请参考图2，图2是本发明方法流程图；

基于球面全景影像的上述存储方式和相机成像模型，本发明提出的一种基于增量式SFM的球面全景影像三维重建方法，包括以下步骤：

S1：基于空间约束和顺序约束进行全景影像特征匹配，得到全景影像中两视影像的可靠特征匹配点；

需要说明的是，步骤S1具体包括以下过程：

S11、采用SIFT特征提取算法进行球面全景影像特征提取，得到特征点；

ERP格式球面全景影像导致影像在靠近球面两极的区域存在较大的几何变形，使得所提取特征的可重复性和可区分性等特性降低。考虑两个方面的因素，

本发明利用SIFT（Scale Invariant Feature Transform）算法进行球面全景影像的特征提取和描述。

一方面，大部分数据采集固定相机的滚动角和俯仰角，比如地面移动测量车采集系统，保证了球面赤道附近的ERP影像几何结构一致；

另一方面，经典SIFT算法具有很好的尺度、旋转不变，也有很强的抗视角变化能力，且有对应的高性能开源库。

具体地，本发明利用SIFT算法的GPU(Graphic Processing Unit)版本SIFTGPU进行影像特征提取和描述子生成。该技术是数字摄影测量和计算机视觉领域的常用手段，本发明就不再赘述。

S12、基于空间约束形成影像匹配对1；

需要说明的是，对于大场景的三维重建，往往需要采集数量较大的全景影像。

如果采用穷举匹配模式，势必导致影像匹配的时间消耗非常大。因此，考虑到全景影像顺序采集，并且Exif信息记录了影像的GNSS（卫星定位）位置信息，本发明综合利用全景影像空间约束和顺序约束进行影像匹配对选择。

需要说明的是，Exif信息是可交换图像文件的缩写，是专门为数码相机的照片设定的，可以记录数码照片的属性信息和拍摄数据。EXIF可以附加于JPEG、TIFF、RIFF等文件之中，为其增加有关数码相机拍摄信息的内容和索引图或图像处理软件的版本信息。

本发明中，步骤S12具体为：

S121、从球面全景影像的Exif信息中读取记录的经度、纬度和高度信息；

S122、对任一张待匹配影像 I _i ，建立一个以待匹配影像为中心， r为半径的球形区域；

S123、将球形区域内包含的其它影像作为待匹配影像的匹配对，从而得到影像匹配对1。

S13、基于顺序约束得到影像匹配对2；

作为一种实施例，本发明中步骤S13具体为：

S131、在球面全景影像中，读取影像的Exif信息中的时间信息，并按照时间信息排列；

S132、对任一张待匹配影像 I _i ，获取其拍摄时刻前后 n张影像，作为其最终的匹配影像，从而得到影像匹配对2。

需要说明的是，根据实验结果，本发明中规定球形区域半径 r=20米；间隔窗口范围 n为10；这里不用以作为限定，本领域技术人员可根据实际情况进行选择。

S14、针对影像匹配对1和2，采用欧式距离最近的特征匹配，得到初步特征匹配点；

需要说明的是，步骤S14具体为：

S141、对精确影像匹配对中，任意两张待匹配的全景影像 I _i 和 I _j ，采用kd-tree建立特征描述子的检索结构；

S142、针对影像 I _i 的每个特征描述子，基于kd-tree查找影像 I _j 中欧式距离最近的特征描述子，从而完成初步特征匹配。

其中kd-tree与欧式距离特征描述子均为本领域内常见的方法与手段，本申请中不再进行赘述。

S15、采用基于RANSAC算法的本质矩阵 E对初步特征匹配点进行粗差剔除，得到可靠特征匹配点。

需要说明的是，SIFT算法利用关键点局部影像块计算特征描述子，导致上述策略得到的全景影像 I _i 和 I _j 的初始特征匹配不可避免地包含错误匹配。

本发明进一步基于RANSAC的本质矩阵 E估计进行匹配粗差剔除。

基于本质矩阵 E的粗差剔除主要依据同名点的共面约束。

对于球面同名光线 p ₁和 p ₂，满足公式（4）所示的共面约束

（4）

其中， E=[ T]_X R为位置 T的反对称矩阵[ T]_X与姿态 R的乘积，其几何意义如图3所示。

当 p ₁和 p ₂为真实同名点时，向量 Rp ₁、 p ₂和 T共面，也就是 p ₂落在 Rp ₁和 T组成的圆面（圆面法向量为），即。

因此，步骤S15具体为：

S151、对于初步特征匹配点的两幅匹配图像，获取其相应的多个同名点，利用同名点解算本质矩阵 E；

本发明中利用两张影像的8个同名点，通过8点法解算本质矩阵，然后找出不满足公式（4）共面约束的匹配点，即实现粗差剔除。

S152、判断两个初步特征匹配点是否满足基于本质矩阵 E的共面约束条件，若不满足，则进行预粗差剔除；若满足，则表示两个初特征匹配点属于可靠特征匹配点；

考虑到粗差对本质矩阵 E估计的影响，结合RANSAC进行解算。

S153、在预粗差剔除过程中，若对于本质矩阵 E，其共面条件误差测度 e小于预设的粗差判断阈值 e _a ，则认为两个初特征匹配点属于可靠特征匹配点，否则实现粗差剔除。

RANSAC参数估计依赖共面条件误差测度 e和粗差判断阈值 e _p 。

与平面透视成像所依赖的点到核线距离测度不同，球面全景成像左片 O ₁中 p ₁的同名光线 p ₂落在过右片球心 O ₂，法向量为的球面。

因此，本发明利用光线-球面夹角作为共面条件误差测度。如图3所示，如果是理想同名点 p ₂的带噪声观测值，那么表示向量和的夹角余弦值，等价于向量和球面的夹角正弦值。

本发明设定 e为

（5）

其中， abs()表示取绝对值。

另外，粗差判断阈值 e _p 常采用像素值大小，与误差测度 e的度量单位不一致。

进一步，本发明基于球面经纬度坐标与平面像素坐标之间的转换关系（参见公式（2）），利用公式（6）实现粗差判断阈值从平面像素值到球面角度值的转换：

（6）

其中，2 π/max( W, H)表示两个度量单位的比例系数； e _a 是以角度度量的粗差判断阈值。

基于上述设定，给定估计的本质矩阵 E，如果误差测度 e< e _a ，则对应同名点标记为内点。

本发明利用球面三维点到对应核面的夹角误差测度进行粗差提取，可以得到优化后的可靠匹配点。在RANSAC的本质矩阵 E估计中，粗差判断阈值 e _p 设置为4个像素。

上述步骤S1中构建了全景影像的两视影像的可靠特征匹配点，本发明基于增量式SFM恢复全景影像的位置 T和姿态 R信息。

S2、针对可靠特征匹配点，采用基于增量式SFM方法恢复全景影像的位置 T和姿态 R信息；

步骤S2具体为：

S21、基于可靠特征匹配点实现种子影像对重建，构建增量式SFM重建基准模型；

初值种子影像对构建了整个增量式SFM重建的基准模型。

种子影像对选择主要考虑匹配点数量和交会角大小，选择步骤：

（1）将所有影像按包含的匹配点数量进行降序排列；

（2）依次选择最前面的一张影像作为种子影像对的第一张影像 I _first ；

（3）将 I _first 的关联影像同样按照匹配点数量进行降序排列；

（4）依次选择排序关联影像的一张影像作为种子影像对的第二张影像 I _second ；

（5）利用 I _first 和 I _second 的球面同名点进行相对定向（步骤S142中欧式距离最近准则匹配）；在得到相对定向参数 E=[ T]_X R的初值后，根据根据公式（7）的代价函数进行平差优化。

（7）

迭代执行步骤（2）-（5），直到找到两张影像，且同时满足匹配内点数量 N _inlier 和交会角 A _tri 大于给定的阈值。

本发明设定 N _inlier >100， A _tri >16°。作为拓展，本发明在建立了种子影像对 I _first 和 I _second 的相对定向模型后，还根据公式（8）的代价函数进行一次全局BA优化。

（8）

S22、采用绝对定向寻找与基准模型相匹配的候选影像next-best；

需要说明的是，next-best影像代表与已重建模型连接最稳健的候选影像，其选择依据是观测的三维点数量及其对应二维特征点的像平面分布：

步骤S22具体如下：

（1）对于所有未定向影像，统计影像特征点与已重建模型三维点的对应关系；

（2）过滤匹配特征点数量 N _obs <30的影像，并根据对应二维特征点的像平面分布计算重要值Score；

（3）将剩余影像按照Score值降序排列，得分最高的候选影像即为next-best影像；

（4）基于物方-球面三维对应点的RANSAC估计，解算next-best影像的姿态 R和位置 T。

具体实现如下：

在平面透视成像中，利用影像2D特征点与物方3D坐标点的对应关系，可进一步解算影像相对场景的绝对位置，即透视成像中PnP（Perspective-n-Point）绝对定向问题。

对于球面全景影像，投影中心、像点和物方点三点共线的性质依然保持。因此，也可以实现基于PnP的绝对定向。

不同之处在于，球面全景影像PnP绝对定向根据球面三维点 p与物方三维点 P的共线约束，参见公式（9）。其中， R和 T是全景影像的旋转矩阵与平移向量。公式（9）包含2个独立方程。利用3个对应点，本发明根据P3P算法解算 R和 T。

（9）

在基于RANSAC的稳健估计中，本发明利用球面全景影像向量夹角误差测度 e，即球面三维点 p与物方三维点在相机坐标系下投影点 RP+ T之间的向量夹角，参见公式（10）。

与前述中基于球面同名点的 E矩阵估计一样，粗差判断阈值 e _a 采用公式（6）将像素阈值转换为角度阈值，并规定 e< e _a 的对应点为内点。

 (10)

基于上述方式获取绝对定向 R和 T的初值后，采用公式（8）所示的代价函数进行平差优化。

(5)next-best影像的所有匹配内点进行前方交会，进一步增加场景的三维点。

S23、对每次新增的候选影像进行局部或全局BA优化，得到全景影像的位置 T和姿态 R信息。

每次成功新增加next-best影像后，判断是否执行局部或全局BA优化：

（1）如果新增加影像数据 N _{i_ add} <3，则执行局部BA优化，仅仅优化新增加影像位姿及关联三维点；

（2）如果新增加影像数量 N _{i_ add} 或三维点数量 N _{p_ add} 大于给定阈值，则执行全局BA优化，此时优化已重建模型的所有影像和三维点。

本发明设定 N _{i_ add} 和 N _{p_ add} 的阈值分别为已重建模型影像和三维点数量的10%。

局部或全局BA优化的代价函数参见公式（6），目标是最小化所有三维点的重投影误差。

（11）

其中，||·||表示向量L2模； ρ _ij 是三维点 X _i 在影像 C _j 中的可见性指示函数，即 X _i 在影像 C _j 中可见性时， ρ _ij =1；否者， ρ _ij =0。

S3、根据位置 T和姿态 R信息，采用多视立体匹配算法生成密集匹配点云。

为了充分利用现有的密集匹配算法，本发明首先将增量式SFM解算的球面全景影像空三结果转换为对应的立方体平面影像。

假设立方体平面影像 I的内参矩阵为 K _P ，其到球面全景影像坐标系的旋转矩阵为 R _PS ，那么立方体平面影像的生成方式：

（1）对于任一像点 x∈ I，计算对应像平面坐标并进行齐次归一化，得到。其中，Π表示齐次归一化操作；

（2）将齐次归一化坐标 u转换到球面全景坐标系，得到对应的球面直角坐标；

（3）根据公式（1）和（2），计算 u’的ERP全景影像像素坐标 x’，并线性插值出立方体平面影像像点 x的灰度值。

通过上述步骤（1）-（3）生成立方体平面影像。

考虑到立方体平面影像与球面全景影像投影中心重合，仅姿态相差 R _PS 表示的旋转变换，可利用公式（12）得到转换后立方体平面影像的位姿信息。

(12)

最后，本发明可利用经典多视立体匹配算法生成密集匹配点云，比如PMVS或者SGM等算法。该技术是数字摄影测量和计算机视觉领域的常用手段，本发明就不再赘述。

本发明的有益效果是：满足了基于球面全景影像的三维重建需求，具有巨大的实际工程应用价值。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于增量式SFM的球面全景影像三维重建方法，其特征在于：包括以下步骤：

S1：基于空间约束和顺序约束进行全景影像特征匹配，得到全景影像中两视影像的可靠特征匹配点；

S2、针对可靠特征匹配点，采用基于增量式SFM方法恢复全景影像的位置T和姿态R信息；

S3、根据位置T和姿态R信息，采用多视立体匹配算法生成密集匹配点云；

步骤S1具体包括以下过程：

S11、采用SIFT特征提取算法进行球面全景影像特征提取，得到特征点；

S12、基于空间约束形成影像匹配对1；

S13、基于顺序约束得到影像匹配对2；

S14、针对影像匹配对1和2，采用欧式距离最近的特征匹配，得到初步特征匹配点；

S15、采用基于RANSAC算法的本质矩阵E对初步特征匹配点进行粗差剔除，得到可靠特征匹配点。

2.如权利要求1所述的一种基于增量式SFM的球面全景影像三维重建方法，其特征在于：步骤S2具体为：

S21、基于可靠特征匹配点实现种子影像对重建，构建增量式SFM重建基准模型；

S22、采用绝对定向寻找与基准模型相匹配的候选影像next-best；

S23、对每次新增的候选影像进行局部或全局BA优化，得到全景影像的位置T和姿态R信息。

3.如权利要求1所述的一种基于增量式SFM的球面全景影像三维重建方法，其特征在于：步骤S12具体为：

S121、从球面全景影像的Exif信息中读取记录的经度、纬度和高度信息；

S122、对任一张待匹配影像I _i ，建立一个以待匹配影像为中心，r为半径的球形区域；

S123、将球形区域内包含的其它影像作为待匹配影像的匹配对，从而得到影像匹配对1。

4.如权利要求1所述的一种基于增量式SFM的球面全景影像三维重建方法，其特征在于：步骤S13具体为：

S131、在球面全景影像中，读取影像的Exif信息中的时间信息，并按照时间信息排列；

S132、对任一张待匹配影像I _i ，获取其拍摄时刻前后n张影像，作为其最终的匹配影像，从而得到影像匹配对2。

5.如权利要求1所述的一种基于增量式SFM的球面全景影像三维重建方法，其特征在于：步骤S14具体为：

S141、对影像匹配对1和2中任意两张待匹配的全景影像I _i 和I _j ，采用kd-tree建立特征描述子的检索结构；

S142、针对影像I _i 的每个特征描述子，基于kd-tree查找影像I _j 中欧式距离最近的特征描述子，从而完成初步特征匹配。

6.如权利要求1所述的一种基于增量式SFM的球面全景影像三维重建方法，其特征在于：步骤S15具体为：

S151、对于初步特征匹配点的两幅匹配图像，获取其相应的多个同名点，利用同名点解算本质矩阵E；

S152、判断两个初步特征匹配点是否满足基于本质矩阵E的共面约束条件，若不满足，则进行预粗差剔除；若满足，则表示两个初特征匹配点属于可靠特征匹配点；

S153、在预粗差剔除过程中，若对于本质矩阵E，其共面条件误差测度e小于预设的粗差判断阈值e _a ，则认为两个初特征匹配点属于可靠特征匹配点，否则实现粗差剔除。

7.如权利要求2所述的一种基于增量式SFM的球面全景影像三维重建方法，其特征在于：步骤S21具体为：

S211、将所有球面全景影像按照匹配点的数量进行降序排列；

S212、选择最前面的一张影像作为种子影像对的第一张影像I _first ；

S213、将与I _first 的匹配影像同样按照匹配点数量进行降序排列；

S214、选择匹配影像中第一张影像作为种子影像对的第二张影像I _second ；

S215、利用I _first 和I _second 进行相对定向，得到相对定向参数，并对相对定向参数进行平差优化；

S216、重复执行步骤S212~S215直至找到两张影像，同时满足匹配内点数量和交会角均大于给定的预设值，从而完成种子影像对I _first 和I _second 的基准模型建立。

8.如权利要求2所述的一种基于增量式SFM的球面全景影像三维重建方法，其特征在于：步骤S22具体为：

S221、对于所有未定向的影像，统计影像特征点与基准模型三维点的对应关系；

S222、过滤匹配特征点数量小于预设值的影像，并根据对应的二维特征点的像平面分布计算重要值Score；

S223、将剩余影像按照Score值降序排列，得分最高的影像为候选影像next-best；

S224、基于物方-球面三维对应点的RANSAC估计，解算候选影像next-best的姿态R和位置T。

9.如权利要求2所述的一种基于增量式SFM的球面全景影像三维重建方法，其特征在于：步骤S23具体为：

对于新增的候选影像，如果新增侯选影像数量小于预设阈值时，则执行局部BA优化，若增侯选影像数量大于或等于预设阈值或新增三维点的数量大于预设阈值时，则执行全局BA优化；

局部BA优化仅优化新增候选影像的位置T、姿态R信息和三维点信息；全局BA优化对基准模型、新增候选影像的位置T、姿态R信息和三维点信息全部进行优化。

Images