CN110580720A - 一种基于全景图的相机位姿估计方法 - Google Patents

Abstract

本发明公开了一种基于全景图的相机位姿估计方法，使用全景图作为输入数据。先对每一张全景图进行特征检测提取，之后两两图像进行特征点匹配；利用匹配特征点的数量，对图片序列进行排序，选择初始化的两张图片，根据对极几何的关系，估计本质矩阵E后分解得到相机位姿的旋转矩阵R和平移向量t；再添加一张新的图片，根据重投影的关系估计新添加的图片的相机位姿R和t；最后，所有图片添加完成后，进行全局的相机位姿和三维特征点的捆绑调整优化，得到最优解。与现有技术相比，本发明对于图像序列是一系列顺序的序列以及网状序列的图像的相机位姿都可以近似求得，即得到的相机位姿的序列与原始图像序列近似。

Description

一种基于全景图的相机位姿估计方法

技术领域

本发明涉及于计算机视觉三维重建技术领域，特别涉及一种利用图像进行增量式的运动恢复结构(Structure-from-Motion)来实现全景图的相机位姿估计的方法。

背景技术

获取全景或者球形全景图已成为场景记录和可视化的常见做法，并且与使用鱼眼镜头的标准全向摄像机或使用曲面镜的折反射系统相比，球面成像不仅限于半球形视场，而是从空间中的单个点捕获360°×180°全景的完整场景。因此，一张全景视图获得的场景信息比一张传统的平面图像多，若使用全景图进行场景的重建，可能利用少数几张全景图重建的场景信息就比使用大量平面图像重建的场景信息多。另外，360°全景视频在近几年也是获得了巨大的普及，与传统视频相比，它可以获得更大的沉浸感，因为在播放期间选择和改变虚拟的观看方向的时候，较传统窄视场相机拍摄的视频，改变其观看方向更不容易迷失方向，然而进行此虚拟方向的改变前提是先要确定全景视频中每一帧图片所代表相机的位姿，意即解决全景视频的稳定问题，这其中涉及的重要的技术步骤就是求解全景图的相机位姿。

在平面领域，估计相机位姿有三类方法：第一种，使用单目相机得到了两幅二维图像，应用二维与二维之间的对极几何关系求得相机的位姿；第二种，若用双目相机能得到二维图像与三维信息之间的对应关系，转换成了PnP问题，也可以求得相机位姿；第三种，采用运动恢复结构这一思路，利用二维平面与二维平面对极几何信息，以及二维平面与三维信息之间的关系得到相机位姿。这些方法提出了很多实用性的估计相机位姿的方法。

在全景图领域，第一种方法，针对球形全景图像的方向和位置的恢复(Kangni andR.Laganire.Orientation andpose recovery from spherical panoramas.In OMNIVIS,2007)，将球形全景图投影到立方体上，通过计算两两立方体之间的本质矩阵得到相机位姿，应用了室内场景和室外场景的数据信息，对立方体全景图进行对齐，使用其写的算法将不同方向的图像都转换到了同一方向；该方法存在一些问题，如仅仅估计两两相邻的立方体全景图之间的位置关系没有考虑到全局的立方体全景图，可能会有误差的累积；还有只通过2D信息的对应求相机位姿，可能结果不是最优的。第二种方法，使用球形全景图结合运动恢复结构的方法重建出场景(A.Pagani and D.Stricker,“Structure from motionusing full spherical panoramic cameras,”in Proc.OMNIVIS,Nov.2011,pp.375–382.)，研究着重在误差估计模型，但对于相机位姿这方面没有着重研究比较，只是最后偏重于场景的重建，难以看到对于相机位姿的估计是否良好。第三种方法，应用球形视频进行研究(Hao Guan,William A.P.Smith.Structure-From-Motion in spherical VideoUsing the von Mises-Fisher Distribution.In IEEE TRANSACTIONS ON IMAGEPROCESSING,VOL.26,NO.2,2017.)，对每一帧图像加入了特征噪点分布，得到了一个新的球形全景图相机模型，并且使用了新的目标函数以及约束条件贯穿于整个优化过程中。但问题是球形视频是一些有序的图片帧，图像之间改变较少，如果使用一些差别很大的图像或者是一些无序图像，不确定此算法是否能够得到很好的结果。

发明内容

本发明旨在提出一种基于全景图的相机位姿估计方法，实现了相机位姿的序列的估计。

本发明的一种基于全景图的相机位姿估计方法，该方法包括以下步骤：

步骤1、特征提取：利用ASIFT算法，提取作为输入数据的每一张全景图上的特征点信息；特征点信息包括图中二维特征点的坐标值和此特征点的描述子，描述子是表示特征点的方向信息；

步骤2、特征匹配：对作为输入数据的全景图进行两两组合匹配特征点，匹配方法是利用特征点的描述子，遍历两张图中每一个特征点，使用特征点的描述子进行点积运算，若得到的点积结果小于预设的阈值，则认为两个特征点近似相似，即为匹配特征点对，保存结果；

步骤3，估计所选取的两张初始化的全景图的相机位姿，两张初始化的全景图的选取策略为：根据每一张图与其他图的匹配特征点的总数量，从大到小排列图片，选择匹配特征点数量最多的图片作为第一张图片，之后从剩下的图片中选择与确定的第一张图片匹配特征点数量最多的图片，作为第二张图片；利用两张全景视图之间的对极几何关系计算本质矩阵E(Essential Matrix)，公式如下：

x₁ ^TEx₂＝0

其中，x₁和x₂分别表示两张初始图中的匹配特征点对的二维坐标，T表示x₁坐标的转置，E表示本质矩阵；

分解本质矩阵E得到旋转矩阵R和平移向量t，R和t表示的就是相机的位姿，其中旋转矩阵R和平移向量t的结果表示为如下公式：

其中，旋转矩阵R中的参数表示相机中心绕世界坐标系中x、y、z坐标轴之后得到的数据，平移向量t中参数表示相机中心对应于世界坐标系下x、y、z坐标轴的数据；

利用二维特征点射线与相机坐标系下的三维特征点射线重合的关系，恢复空间中的三维特征点X，其中得到的是三维特征点X在世界坐标系中三维坐标表示，公式如下：

x·(RX+t)＝0

其中，x表示二维特征点的坐标，X表示未知的世界坐标系下的三维特征点坐标，R表示旋转矩阵，t表示平移向量；

步骤4、估计新添加的全景图的相机位姿：添加新的一张图片的策略是根据比率r来对剩下的图片序列进行排序，计算剩下每一张图片的比率r，然后从小到大排列r，每一个比率r对应着一张图片的序号，就相当于对图片序号进行了排序，比率r表达式如下：

得到图片序列后，按照顺序每添加一张图片，就要估计此张图片的相机位姿，同样利用二维特征点射线与相机坐标系下的三维特征点射线重合的关系，计算位姿，公式如下：

x·(RX_新+t)＝0

其中，未知数是旋转矩阵R和平移向量t，X_新表示新添加图片中的二维特征点，利用此二维特征点恢复出空间中三维特征点，构造线性方程组，重新求得旋转矩阵R和平移向量t，它们分别表示如下：

x₁＝(a,b,c)^T,x₂＝(m,n,p)^T,X_新＝(X,Y,Z)^T

利用已知参数和公式(4)构造线性方程组，部分线性方程组的表达式如下：

(-cR₂₁+bR₃₁)X+(-cR₂₂+bR₃₂)Y+(-cR₂₃+bR₃₃)Z+(-ct₂+bt₃)＝0

(cR₁₁-aR₃₁)X+(cR₁₂-aR₃₂)Y+(cR₁₃-aR₃₃)Z+(ct₁-at₃)＝0

(-pR₂₁+nR₃₁)X+(-pR₂₂+nR₃₂)Y+(-pR₂₃+nR₃₃)Z+(-pt₂+nt₃)＝0

(cp-mR₃₁)X+(pR₁₂-mR₃)Y+(pR₁₃-mR₃₃)Z+(pt₁-mt₃)＝0

……

其中，T表示坐标的转置，a,b,c,m,n,p,X,Y,Z表示坐标值；

步骤5，对估计到的所有图片的相机位姿和三维特征点坐标进行捆绑调整优化：捆绑调整优化的目的是最小化重投影误差，球面两点之间弧线对应的切平面上两点之间的直线距离作为误差距离d来近似估计，误差距离d用如下公式计算：

其中，m表示原始二维特征点的二维坐标，M表示二维特征点对应的三维特征点坐标，||·||表示向量的2-范数，T表示二维坐标的转置；

得到初始化的两张全景图的位姿后，加上部分恢复出的三维特征点，先进行一次捆绑调整优化，保证初始值的误差尽可能减小，之后每添加一张图片，进行一次捆绑调整优化，直至最后当所有图片添加成功，进行最后全局的优化调整。

与现有技术相比，本发明所能达到的积极技术效果如下：

(1)对于图像序列是一系列顺序的序列以及网状序列的图像的相机位姿都可以近似求得，即得到的相机位姿的序列与原始图像序列近似；

(2)有可视化的界面，可以看到经过计算得到的图像序列的相机位姿序列，以及恢复出的三维稀疏点云。

附图说明

图1为球形全景图的相机位姿模型图示；

图2为优化重投影误差时计算误差示意图；

图3为本发明的一种基于全景图的相机位姿估计方算法流程图；

图4为本发明实施例得到的全景图的相机位姿结果示意图；

图5为本发明实施例得到的重建场景中的稀疏三维特征点云图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图3所示，为本发明的一种基于全景图的相机位姿估计方法流程图。改变以往使用传统平面图像作为输入数据的流程，而使用全景图作为输入数据，具体包括以下步骤：

步骤1、特征提取：利用ASIFT算法，提取作为输入数据的每一张全景图上的特征点信息；特征点信息包括图中二维特征点的坐标值和此特征点的描述子，描述子是表示特征点的方向信息；

步骤2、特征匹配：对作为输入数据的全景图进行两两组合匹配特征点，匹配方法是利用特征点的描述子，遍历两张图中每一个特征点，使用特征点的描述子进行点积运算，若得到的点积结果小于预设的阈值，则认为两个特征点近似相似，即为匹配特征点对，保存结果。另外，因为提取的特征点数量很多，遍历每一个特征点并做点积运算很耗费时间，这里使用了GPU进行加速，缩短了特征匹配的时间。

步骤3，估计所选取的两张初始化的全景图的相机位姿，两张初始化的全景图的选取策略为：根据每一张图与其他图的匹配特征点的总数量，从大到小排列图片，选择匹配特征点数量最多的图片作为第一张图片，之后从剩下的图片中选择与确定的第一张图片匹配特征点数量最多的图片，作为第二张图片；利用两张全景视图之间的对极几何关系计算本质矩阵E(Essential Matrix)，公式如下：

x₁ ^TEx₂＝0

其中，x₁和x₂分别表示两张初始图中的匹配特征点对的二维坐标，T表示x₁坐标的转置，E表示本质矩阵。在计算本质矩阵E时候用到了随机采样一致算法(RANSAC)，估计了一个最佳的本质矩阵E模型。分解本质矩阵E得到了旋转矩阵R和平移向量t，R和t表示的就是相机的位姿。这里需要解释的是，正常结果应该是两张图求解得到两组解，但是本质矩阵E求解的是两张图之间的相对关系，相对关系表示一张图相对另一张图的位置的变换，所以只有一组解，而另一组解默认旋转矩阵为单位矩阵，平移向量为零向量；

得到了两张全景图代表的相机的位姿，利用二维特征点射线与相机坐标系下的三维特征点射线重合的关系，恢复空间中的三维特征点坐标X，公式如下：

x·(RX+t)＝0

其中，x表示二维特征点的坐标，X表示未知的世界坐标系下的三维特征点坐标，R表示旋转矩阵，t表示平移向量；

步骤4、估计新添加的全景图的相机位姿：添加新的一张图片的策略是根据比率r，从大到小排列剩下的图片序列，计算剩下每一张图片的比率r，然后从小到大排列r，每一个比率r对应着一张图片的序号，就相当于对图片序号进行了排序，比率r表达式如下：

得到图片序列后，按照顺序每添加一张图片，就要估计此张图片的相机位姿，同样利用二维特征点射线与相机坐标系下的三维特征点射线重合的关系，计算位姿，公式如下：

x·(RX_新+t)＝0

其中，未知数是旋转矩阵R和平移向量t，X_新表示新添加的图片中的二维特征点，此二维特征点是与恢复先前三维特征点的匹配对匹配的特征点，即利用此二维特征点也可以恢复出空间中三维特征点，X_新是前一步恢复出的三维特征点，此三维特征点是能被新添加的图片观察到的。构造线性方程组，重新求得旋转矩阵R和平移向量t，它们分别表示如下：

x₁＝(a,b,c)^T,x₂＝(m,n,p)^T,X_新＝(X,Y,Z)^T

利用已知参数和公式(4)构造线性方程组，部分线性方程组的表达式如下：

(-cR₂₁+bR₃₁)X+(-cR₂₂+bR₃₂)Y+(-cR₂₃+bR₃₃)Z+(-ct₂+bt₃)＝0

(cR₁₁-aR₃₁)X+(cR₁₂-aR₃₂)Y+(cR₁₃-aR₃₃)Z+(ct₁-at₃)＝0

(-pR₂₁+nR₃₁)X+(-pR₂₂+nR₃₂)Y+(-pR₂₃+nR₃₃)Z+(-pt₂+nt₃)＝0

(cp-mR₃₁)X+(pR₁₂-mR₃)Y+(pR₁₃-mR₃₃)Z+(pt₁-mt₃)＝0

……

其中，T表示坐标的转置，a,b,c,m,n,p,X,Y,Z表示坐标值。

步骤5，对估计到的所有图片的相机位姿和三维特征点坐标进行捆绑调整优化(BundleAdjustment)：捆绑调整优化的目的是最小化重投影误差，将全景图投影到球体上，这里重投影误差是利用球面两点之间弧线对应的切平面上两点之间的直线距离来近似估计，如图2所示，m表示原始二维特征点，m′表示三维特征点重投影到球面上的二维特征点，M表示空间中的三维特征点，重投影误差就是m与m′之间的距离d。注意图中为了清楚表示将误差距离放大了。这段误差距离d用如下公式计算：

其中，m表示原始二维特征点二维坐标，M表示二维特征点对应的三维特征点的三维特征点坐标，||·||表示向量的2-范数，T表示二维坐标的转置；

得到初始化的两张全景图的位姿后，加上部分恢复出的三维特征点，先进行一次捆绑调整优化，保证初始值的误差尽可能减小；之后，每添加一张图片，进行一次捆绑调整优化；直至最后当所有图片添加成功，进行最后全局的优化调整。

如图4所示，本发明实施例得到的全景图的相机位姿结果示意图。展示了原始序列与估计得到的图像相机序列，(4a)中的标志序列表示原始相机序列，(4b)中的标志序列表示估计得到的图像相机序列。

利用输入的全景图序列可以构建重建场景，此场景由稀疏点云构成，如图5所示，为本发明实施例得到的重建场景中的稀疏三维特征点云图。位于图上方的12张缩略图是采集的图像，图下方的稀疏点云就是根据图像中的二维特征点恢复出来的三维特征点。

Claims (1)

1.一种基于全景图的相机位姿估计方法，其特征在于，该方法包括以下步骤：

步骤1、特征提取：利用ASIFT算法，提取作为输入数据的每一张全景图上的特征点信息；特征点信息包括图中二维特征点的坐标值和此特征点的描述子，描述子是表示特征点的方向信息；

步骤2、特征匹配：对作为输入数据的全景图进行两两组合匹配特征点，匹配方法是利用特征点的描述子，遍历两张图中每一个特征点，使用特征点的描述子进行点积运算，若得到的点积结果小于预设的阈值，则认为两个特征点近似相似，即为匹配特征点对，保存结果；

步骤3，估计所选取的两张初始化的全景图的相机位姿，两张初始化的全景图的选取策略为：根据每一张图与其他图的匹配特征点的总数量，从大到小排列图片，选择匹配特征点数量最多的图片作为第一张图片，之后从剩下的图片中选择与确定的第一张图片匹配特征点数量最多的图片，作为第二张图片；利用两张全景视图之间的对极几何关系计算本质矩阵E(Essential Matrix)，公式如下：

x₁ ^TEx₂＝0

其中，x₁和x₂分别表示两张初始图中的匹配特征点对的二维坐标，T表示x₁坐标的转置，E表示本质矩阵；

分解本质矩阵E得到旋转矩阵R和平移向量t，R和t表示的就是相机的位姿，其中旋转矩阵R和平移向量t的结果表示为如下公式：

其中，旋转矩阵R中的参数表示相机中心绕世界坐标系中x、y、z坐标轴之后得到的数据，平移向量t中参数表示相机中心对应于世界坐标系下x、y、z坐标轴的数据；

利用二维特征点射线与相机坐标系下的三维特征点射线重合的关系，恢复空间中的三维特征点X，其中得到的是三维特征点X在世界坐标系中三维坐标表示，公式如下：

x·(RX+t)＝0

其中，x表示二维特征点的坐标，X表示未知的世界坐标系下的三维特征点坐标，R表示旋转矩阵，t表示平移向量；

步骤4、估计新添加的全景图的相机位姿：添加新的一张图片的策略是根据比率r来对剩下的图片序列进行排序，计算剩下每一张图片的比率r，然后从小到大排列r，每一个比率r对应着一张图片的序号，就相当于对图片序号进行了排序，比率r表达式如下：

得到图片序列后，按照顺序每添加一张图片，就要估计此张图片的相机位姿，同样利用二维特征点射线与相机坐标系下的三维特征点射线重合的关系，计算位姿，公式如下：

x·(RX_新+t)＝0

其中，未知数是旋转矩阵R和平移向量t，X_新表示新添加图片中的二维特征点，利用此二维特征点恢复出空间中三维特征点，构造线性方程组，重新求得旋转矩阵R和平移向量t，它们分别表示如下：

x₁＝(a,b,c)^T,x₂＝(m,n,p)^T,X_新＝(X,Y,Z)^T

利用已知参数和公式(4)构造线性方程组，部分线性方程组的表达式如下：

(-cR₂₁+bR₃₁)X+(-cR₂₂+bR₃₂)Y+(-cR₂₃+bR₃₃)Z+(-ct₂+bt₃)＝0

(cR₁₁-aR₃₁)X+(cR₁₂-aR₃₂)Y+(cR₁₃-aR₃₃)Z+(ct₁-at₃)＝0

(-pR₂₁+nR₃₁)X+(-pR₂₂+nR₃₂)Y+(-pR₂₃+nR₃₃)Z+(-pt₂+nt₃)＝0

(cp-mR₃₁)X+(pR₁₂-mR₃)Y+(pR₁₃-mR₃₃)Z+(pt₁-mt₃)＝0

……

其中，T表示坐标的转置，a,b,c,m,n,p,X,Y,Z表示坐标值；

步骤5，对估计到的所有图片的相机位姿和三维特征点坐标进行捆绑调整优化：捆绑调整优化的目的是最小化重投影误差，球面两点之间弧线对应的切平面上两点之间的直线距离作为误差距离d来近似估计，误差距离d用如下公式计算：

其中，m表示原始二维特征点的二维坐标，M表示二维特征点对应的三维特征点坐标，||·||表示向量的2-范数，T表示二维坐标的转置；

得到初始化的两张全景图的位姿后，加上部分恢复出的三维特征点，先进行一次捆绑调整优化，保证初始值的误差尽可能减小，之后每添加一张图片，进行一次捆绑调整优化，直至最后当所有图片添加成功，进行最后全局的优化调整。