CN103077509A - 利用离散立方体全景图实时合成连续平滑全景视频的方法 - Google Patents

Abstract

本发明公开了一种利用离散立方体全景图实时合成连续平滑全景视频的方法，该方法包括：对所输入的两张连续的立方体全景图，通过特征点检测、特征匹配，在球面域上构建立方体全景图的三角网格剖分实现立方体全景图的预处理；实现立方体全景图的实时插值，在已有三角网格对应关系基础上，估计在新相机位置的待插值三角网格组成，并基于单应矩阵对新视角三角网格进行填色。与现有技术相比，将立方体全景图投影到球面域，并在球面域采取“匹配-三角剖分-插值”的策略，不仅简化了插值处理的复杂度，并有效的提高了插值的视觉效果。

Description

利用离散立方体全景图实时合成连续平滑全景视频的方法

技术领域

本发明属于计算机图形学和计算机视觉领域，特别是涉及一种利用离散的立方体全景图实时合成连续平滑全景视频的图像插值技术。

背景技术

随着图像拼接技术的发展和全景相机的诞生，越来越多的立方体全景图被应用到线上虚拟现实和漫游导航系统中。但是由于网络带宽限制，服务商只能提供在热点地区所拍摄的全景图，即离散全景图数据。现有的在线虚拟漫游系统通常只提供对单张全景图的浏览，相邻两张全景图间的过渡则利用某种形式的叠加实现，其效果呈现出明显的视觉不连续性。为了提高虚拟浏览的用户体验，可以使用视点插值的方法。然而，目前大多数视点插值方法（如文献^[1]）的处理对象为平面图像，不能直接应用到立方体全景图上。全景图的插值方法（如文献^[2]）虽然可获得较好的插值结果，但其步骤繁琐复杂，不易进行并行加速，而且在立方体全景图六个面的衔接处可能引入较明显的视觉错误。

上述的插值方法例如图像配准（见参考文献[1]），该插值方法由Siu和Lau在2005年提出利用图像配准的方法对平面图像进行插值，以生成新视点的平面图像。具体步骤是，首先对同一场景在不同视角下拍摄的三张输入图像进行特征点检测，并进行特征匹配；进而利用三焦点张量模型及随机抽样一致性(RANSAC)算法对匹配点进行过滤，基于相机物理模型估计三张输入图像的相机相对位置；基于匹配的特征点对图像做三角剖分，进而检测遮挡区域，在发生遮挡的区域内，改变特征点检测的阈值重新生成特征点，反复此过程以消除遮挡区域；对待插值的新视角，计算其与输入图像的单应矩阵，从而对图像进行插值。该方法对输入视图间的基线没有严格的要求，能很好地用于多视角的平面图像插值，然而不能直接应用于立方体全景图的插值。

立方体三角剖分方法（见文献[2]）是对Siu和Lau所提技术的扩展，由Zhang等于2011年提出，将其应用到立方体全景图插值上。该方法在获取相邻立方体全景图的特征匹配后，对立方体全景图进行三角剖分。由于立方体全景图包含上、下、左、右、前、后六个面，Zhang等人将立方体全景图的三角剖分划分为三部分：每个面的中间区域，水平四个面的相互衔接处，以及剩余部分（包含上下两个面及与水平四个面的衔接处），通过对这三类区域分别采取不同三角剖分策略，实现对整个立方体全景图的剖分。在利用单应矩阵对全景图进行插值时，该方法同样区分不同的区域，并对各区域应用不同的插值策略。由于分区域考虑，该算法较为繁琐，并且在立方体六个面的衔接处可能产生明显误差。

参考文献

[1].A.Siu and R.Lau,“Image registration for image-based rendering,”IEEE Transactions on ImageProcessing,vol.14,no.2,pp.241–252,Feb.2005.

[2].C.Zhang,Y.Zhao,and F.Wu,“Triangulation of cubic panorama for view synthesis,”Applied Optics,vol.50,no.22,pp.4286-4294,Aug2011.

发明内容

基于上述现有技术中在处理立方体全景图插值问题上的不足，本发明提出一种利用离散立方体全景图实时合成连续平滑全景视频的方法，将立方体全景图投影到球面域做处理的解决方案，设计在球面域对立方体全景图做三角网格剖分的方法，基于球面域的立方体全景图的预处理技术与立方体全景图的实时插值技术，实现立方体全景图的匹配、三角形网格化和全景图实时插值，在有限网络带宽环境下实时合成连续平滑、衔接自然的全景图视频序列。

本发明提出了一种利用离散立方体全景图实时合成连续平滑全景视频的方法，包括以下步骤：

步骤一、对作为输入的每两张连续的立方体全景图的每个面建立高斯差分金字塔，对金字塔上的每个像素，将它和金字塔同层的8个相邻像素以及金字塔上下两层对应的18个像素进行比较，检测它是否是极值点，将检测到的极值点作为预选的特征点；通过拟合3维2次曲线对特征点进行精确定位，即将空间尺度函数进行泰勒展开对该式求导，并令其为0得到特征点的精确位置

再剔除低对比度和边缘响应的特征点；通过特征点邻域内像素的梯度信息确定特征点的主方向；根据特征点的位置、尺度、主方向信息在对应邻域内计算梯度直方图，作为特征点的128维的特征描述符；将立方体全景图六个面上检测到的特征点放到一起作为该图的特征点集，实现立方体全景图的SIFT特征点检测；

步骤二、将完成特征点检测的两个立方体全景图中第一个立方体全景图的特征点描述符放入k-d树树形结构中；以第二个全景图上的每个特征点为依据，借助树形结构查找其中与第一个全景图最相似的特征点，得到匹配特征点；

步骤三、随机选取8组步骤一得到的匹配特征点，利用8点法计算基础矩阵F，假设一组匹配点为x＝(x，y，1)^T和x′＝(x′，y，1)^T，F＝[f₁₁ f₁₂ f₁₃；f₂₁ f₂₂ f₂₃；f₃₁ f₃₂ f₃₃]，则满足x′xf₁₁+x′yf₁₂+x′f₁₃+y′xf₂₁+y′yf₂₂+y′f₂₃+xf₃₁+yf₃₂+f₃₃＝0；由于将f₃₃规整为1，当有8组匹配点时，得到8个上述方程，则基础矩阵F被完全确定下来；计算每组匹配点的几何误差

${\mathrm{\ϵ}}_{\mathrm{geo}}=\frac{{\left(x^{{\′}^T}\mathrm{Fx}\right)}^2}{{\left|\right|\mathrm{Fx}\left|\right|}^2+{\left|\right|F^T{x}^{\′}\left|\right|}^2},---\left(1\right)$

其中x和x′为匹配的特征点在各自图像上的坐标，F为计算得到的基础矩阵；将几何误差小于0.001的匹配点放到一致集S中，并计算一致集S中每组匹配特征点之间的角度α以及角度的均值μ_s和标准差σ_s，从而可得到角度误差，

${\mathrm{\ϵ}}_{\mathrm{ang}}=\frac{|\mathrm{\α}-{\mathrm{\μ}}_s|}{{\mathrm{\σ}}_s},---\left(2\right)$

角度误差小于0.95的匹配点组成内点集合I；重复以上过程：即根据随机选取的8组匹配点估计基础矩阵，并计算几何误差和角度误差的过程，直至角度误差不变，在前述的误差处理之后，再根据匹配特征点，利用最小二乘法重新估计基础矩阵F；通过重新估计的基础矩阵F和相机矫正矩阵K计算本质矩阵E＝K^TFK；对本质矩阵进行奇异值分解得E＝Udiag(1，1，0)V^T，则第一个相机矩阵为P＝[I 0]，第二个相机矩阵可能的选择为P′＝[UWV^T|u₃]；[UWV^T|-u₃]；[UW^TV^T|u₃]；[UW^TV^T|-u₃]；选择使重构点同时落在相机前面的相机矩阵，完成对相机相对位置参数的鲁棒估计；

步骤四、基于匹配点组成的内点集合I，采用凸包剖分的方法，在球面域内对第一张立方体全景图进行三角网格剖分，并将剖分的拓扑关系应用到第二张全景图；

步骤五、对第二张全景图的三角网格进行遮挡检测，即判断所述三角形网格间是否存在重叠；对于包含重叠的区域，使用gnomonic投影的方法将其投影到二维平面，然后采用带边约束的Delaunay三角形化方法对该区域进行三角剖分；重复以上过程直到所产生的三角网格不存在重叠现象，实现三角网格的遮挡处理；

步骤一至步骤五，实现对所输入的两张连续的立方体全景图，通过特征点检测、特征匹配，在球面域上构建立方体全景图的三角网格剖分实现立方体全景图的预处理；

步骤六、利用线性三角形法计算对应场景点的三维坐标；将场景点的三维坐标投影到新相机位置的球面域上，得到待插值全景图关键点的球面坐标及由该球面坐标确定的球面三角形；具体而言，根据相机相对位置参数估计，对待插值相机的位置C″和朝向R″进行插值，其中位置采用线性插值：

C″＝tC′+(1-t)C;（3）

其中t∈[0，1]为插值参数，即t＝0时，待插值相机与第一个相机的参数相同，t＝1时与第二个相机的参数相同；朝向采用四元数球面线性插值：

$q^{\′\′}=\mathrm{slerp}(q,q^{\′};t)=\frac{\sin (1-t)\mathrm{\θ}}{\sin \mathrm{\θ}}q+\frac{\sin \left(\mathrm{t\θ}\right)}{\sin \mathrm{\θ}}{q}^{\′},---\left(4\right)$

其中q和q′为R和R′对应的四元数，θ＝arccos(q·q′)，t∈[0，1]为插值参数；

对每组匹配点x和x′，利用线性三角形法计算对应场景点的三维坐标X；将场景点投影到新相机位置的球面域上，得到待插值全景图上特征点的坐标，

$X^{\′\′}=\frac{R^{\′\′}(X-C^{\′\′})}{\left|\right|R^{\′\′}(X-C^{\′\′})\left|\right|};---\left(5\right)$

步骤七、为每个球面三角形建立虚拟相机，计算球面三角形对应的局部坐标及虚拟相机矩阵，假设三角形用ABC表示，将局部坐标系的原点设在点A，x轴设为AB，则三角形的局部坐标为

$\left[\begin{array}{ccc}{x}_A& x_B& x_C\end{array}\right]=\left[\begin{array}{ccc}0& |B-A|& \cos \mathrm{\θ}|C-A|\\ 0& 0& \sin \mathrm{\θ}|C-A|\end{array}\right];---\left(6\right)$

该三角形对应的旋转矩阵为

R_t＝[r，u，1]^T,（7）

其中r为局部坐标系x轴的方向，l为三角形所在平面的垂线方向，u为r和l的叉积；三角形对应虚拟相机的矫正矩阵为

$K_t=\left[\begin{array}{ccc}f& 0& p_x\\ 0& f& p_y\\ 0& 0& 1\end{array}\right],---\left(8\right)$

其中f为球心到垂足的距离，p_x和p_y为垂足在局部坐标系的坐标；然后，计算三角形所对应的虚拟相机的相机矩阵：

P_t＝K_tR_tR[I -C]；（9）

对待插值全景图及输入全景图对应的每一组三角形对，基于三角形顶点坐标

及虚拟相机矩阵

估计出两者间的单应矩阵H_h[1]，连接相机中心和三角形顶点得反向投影射线，计算射线的交点得三维世界中的场景点；根据3组场景点和对应的图像特征点，计算变换矩阵H₁，则H_h＝P′H₁；

步骤八、对待插值全景图上的每个像素，确定它落在三角形网格的哪个三角形上，判断像素点是否落在某个三角形上，确定好对应的三角形后，计算每个像素在该三角形局部坐标系中的坐标：

X_p＝[X_A，X_B，X_C][x_A，x_B，x_C]^-1x_p，（10）

其中，x_p为该像素对应的三维坐标，x_A，x_B，x_C为对应三角形顶点坐标，X_A，X_B，X_C是三角形顶点的局部坐标；根据三角形信息选取相应的单应矩阵，利用单应矩阵计算该像素在输入全景图上对应点的坐标；将来自两张输入全景图上对应点的颜色进行融合作为待插值全景图像素的颜色，

C＝aC₁+(1-a)C₂，（11）

在该步骤中，利用硬件光栅化对该操作进行加速：将待插值全景图上关键点的坐标以及三角邻接信息装配成顶点序列，放入DirectX的顶点缓存进行渲染，得到关键点的三角形ID索引表，根据索引表中存储的ID值来选取相应的单应矩阵；

步骤六至步骤八实现立方体全景图的实时插值，在已有三角网格对应关系基础上，估计在新相机位置的待插值三角网格组成，并基于单应矩阵对新视角三角网格进行填色。

与现有技术相比，本发明将立方体全景图投影到球面域，并在球面域采取“匹配-三角剖分-插值”的策略，不仅简化了插值处理的复杂度，并有效的提高了插值的视觉效果。本发明充分利用硬件的并行计算及高速渲染能力，保证了算法的实时性。具体分析如下：

（1）实时性能。与现有立方体全景图插值方法不同，本发明在球面域内采用“匹配-三角剖分-插值”的策略，将立方体全景图插值问题由不连续的六个面简化到可跨多个面的球面三角形，处理对象直观、简单，很好的规避了立方体全景图面间不连续性问题。由于处理对象均为球面三角形，且不考虑其在球面域的相对位置，本算法具有很强的可并行性，可利用GPU的并行计算能力极大地提高计算处理效率。本发明的处理对象为立方体全景图，此类全景图在现有的GPU上有很好的硬件支持，可借助GPU的高速渲染能力对插值算法做进一步加速，达到所需的实时性能。

（2）合成全景图效果更为合理。本发明采取统一框架对立方体全景图做处理，避免立方体全景图面间的不连续性问题；采用物理模型即单应矩阵将输入图像的球面三角形映射到待插值球面三角形上；据此，所生成的立方体全景图视频序列在视觉效果上连续平滑、衔接自然。

（3）避免了立方体全景图六个面间存在的不连续性影响；设计适合球面三角网格剖分的单应矩阵估计算法，解决两个球面间无法直接计算单应矩阵的困难，有效地避免现有算法中采取的复杂分区域分析的不足；提供了对立方体全景图进行处理的统一框架。

附图说明

图1是本发明的整体流程图；

图2是本发明的立方体全景图预处理流程图；

图3是本发明的实时生成立方体全景图序列流程图；

图4是本发明的立方体全景图插值结果。

具体实施方式

下面将结合附图对本发明的具体实施方式进行详细描述，这些实施方式若存在示例性的内容，不应解释成对本发明的限制。

本发明涉及立方体全景图的预处理和全景图序列的实时生成两部分。两部分的主要流程如图2与图3所示。

如图3所示，立体全景图的预处理主要包括全景图特征提取、特征点匹配、相机参数鲁棒估计、三角网格剖分以及遮挡处理等步骤，该过程为立方体全景图的实时插值提供了必不可少的输入信息。

如图4所示，实时生成立方体全景图序列流程图主要完成对立方体全景图的实时插值。插值过程主要包括相机插值、场景点坐标计算、重投影、虚拟相机的建立、计算单应矩阵以及像素索引和颜色融合等步骤。

如图4所示，为本发明的全景图插值结果，其中第一行的两张输入图，分别对应离散立方体全景图序列中的第1帧和第31帧。第二、三行首尾的图像为输入图像的局部放大，中间的图像为插值结果的方法。从结果可以看出本发明生成的立方体全景图视频序列在视觉效果上连续平滑、衔接自然。

一、立方体全景图的预处理部分包括特征点检测与匹配、相机参数鲁棒估计及三角网格剖分等步骤：

1-1、特征点检测：利用SIFT方法对全景图进行特征点检测。首先对于立方体全景图的每个面建立高斯差分金字塔，在金字塔上检测极值点（局部最大值点或最小值点）作为预选的特征点；通过拟合3维2次曲线对特征点进行精确定位，并剔除低对比度和边缘响应的点；通过特征点邻域内像素的梯度信息确定特征点的主方向；根据特征点的位置、尺度、主方向等信息在对应邻域内计算梯度直方图，作为特征点的描述符（128维）；将立方体全景图六个面上检测到的特征点放到一起作为该图的特征点集。

1-2、特征点的匹配：对于完成特征点检测的两个立方体全景图，将第一个全景图的特征点描述符放入k-d树树形结构中；对第二个全景图上的每个特征点，借助树形结构查找第一个全景图中与它最相似的特征点（即描述符之间的欧几里得距离最小）。

1-3、相机参数鲁棒估计：随机选取8组步骤2中找到的匹配点，利用8点法计算基础矩阵F；然后，计算每组匹配点的几何误差：

${\mathrm{\ϵ}}_{\mathrm{geo}}=\frac{{\left(x^{{\′}^T}\mathrm{Fx}\right)}^2}{{\left|\right|\mathrm{Fx}\left|\right|}^2+{\left|\right|F^T{x}^{\′}\left|\right|}^2},---\left(1\right)$

其中x和x′为匹配点坐标；将几何误差小于一定阈值的匹配点放到一致集S中，并计算一致集中每组匹配点之间的角度α以及角度的均值μ_s和标准差σ_s，从而可得到角度误差，

${\mathrm{\ϵ}}_{\mathrm{ang}}=\frac{|\mathrm{\α}-{\mathrm{\μ}}_s|}{{\mathrm{\σ}}_s},---\left(2\right)$

角度误差小于设定阈值的匹配点组成内点集合。重复以上过程直至误差不变。根据匹配点，利用最小二乘法重新估计基础矩阵F（方法与8点法类似）；通过基础矩阵F和相机矫正矩阵K计算本质矩阵E；从本质矩阵恢复相机矩阵P，完成对相机相对位置的估计；

1-4、三角剖分：基于匹配点集合，采用凸包剖分的方法，在球面域内对第一张立方体全景图进行三角网格剖分，并将剖分的拓扑关系应用到第二张全景图（即如果剖分结果中第一张立方体全景图中的第1、3、10个特征点组成一个三角形，则连接第二张立方体全景图中的第1、3、10个特征点，使其也组成一个三角形）；

1-5、三角网格的遮挡处理：对第二张全景图的三角网格进行遮挡检测，即判断三角形间是否存在交叠。对于包含重叠的区域，使用gnomonic投影的方法将其投影到二维平面，然后采用带边约束的Delaunay三角形化方法对该区域进行三角剖分。重复以上过程直到所产生的三角网格不存在重叠现象。

二、全景图序列的实时生成部分包括待插值全景图三角网格估计、单应矩阵估计、新视角生成等步骤：

2-1、待插值全景图三角网格估计：根据步骤1-3中估计的相机相对位置信息，对新相机的位置C″和朝向R″进行插值，其中位置采用线性插值：

C″＝tC′+(1-t)C;（3）

朝向采用四元数球面线性插值:

$q^{\′\′}=\mathrm{slerp}(q,q^{\′};t)=\frac{\sin (1-t)\mathrm{\θ}}{\sin \mathrm{\θ}}q+\frac{\sin \left(\mathrm{t\θ}\right)}{\sin \mathrm{\θ}}{q}^{\′},---\left(4\right)$

其中q和q′为R和R′对应的四元数，θ＝arccos(q·q′)，t∈[0，1]为插值参数。对每组匹配点x和x′，利用线性三角形法计算对应场景点的三维坐标X；将场景点投影到新相机位置的球面域上，得到待插值全景图上特征点的坐标,

$X^{\′\′}=\frac{R^{\′\′}(X-C^{\′\′})}{\left|\right|R^{\′\′}(X-C^{\′\′})\left|\right|}.---\left(5\right)$

由于待插值全景图上特征点坐标的运算相互独立，可对该步骤进行并行加速。

2-2单应矩阵估计：首先为每个球面三角形建立虚拟相机，计算三角形对应的局部坐标及虚拟相机矩阵。假设三角形用ABC表示，将局部坐标系的原点设在点A，x轴设为AB，则三角形的局部坐标为

$\left[\begin{array}{ccc}{x}_A& x_B& x_C\end{array}\right]=\left[\begin{array}{ccc}0& |B-A|& \cos \mathrm{\θ}|C-A|\\ 0& 0& \sin \mathrm{\θ}|C-A|\end{array}\right];---\left(6\right)$

该三角形对应的旋转矩阵为

R_t＝[r，u，1]^T,（7）

其中r为局部坐标系x轴的方向，l为三角形所在平面的垂线方向，u为r和l的叉积；三角形对应虚拟相机的矫正矩阵为

$K_t=\left[\begin{array}{ccc}f& 0& p_x\\ 0& f& p_y\\ 0& 0& 1\end{array}\right],---\left(8\right)$

其中f为球心到垂足的距离，p_x和p_y为垂足在局部坐标系的坐标。然后，计算三角形所对应的虚拟相机的相机矩阵：

P_t＝K_tR_tR[I -C]。（9）

对待插值全景图及输入全景图对应的每一组三角形对，基于三角形顶点坐标

及虚拟相机矩阵估计出两者间的单应矩阵H_h[1]。同步骤6相类似，该步骤中单应矩阵的计算是相互独立的，因此可并行加速。

2-3、新视角生成：对待插值全景图上的每个像素，确定它落在三角形网格的哪个三角形上，确定它落在三角形网格的哪个三角形上，判断像素点是否落在某个三角形上时，只需检测该点是否落在该三角形三条边的内部（可以通过检测由该点和边的两个端点组成矩阵的行列式是否大于0来判断），并计算该像素在三角形局部坐标系中的坐标：

X_p＝[X_A，X_B，X_C][x_A，x_B，x_C]^-1x_p，（10）

其中，x_p为该像素对应的三维坐标，x_A，x_B，x_C为对应三角形顶点坐标，X_A，X_B，X_C是三角形顶点的局部坐标。根据三角形信息选取相应的单应矩阵（如果该三角形是集合中的第n个，则单应矩阵也要选取第n个），利用单应矩阵计算该像素在输入全景图上对应点的坐标。将来自两张输入全景图上对应点的颜色进行融合作为待插值全景图像素的颜色，

C＝aC₁+(1-a)C₂。（11）

在该步骤中，确定一个像素落在三角形网格的哪个三角形上是计算的瓶颈，可利用硬件光栅化对该操作进行加速：将待插值全景图上关键点的坐标以及三角邻接信息装配成顶点序列，放入DirectX的顶点缓存进行渲染，得到关键点的三角形ID索引表，根据索引表中存储的ID值来选取相应的单应矩阵。

Claims (1)

1.一种利用离散立方体全景图实时合成连续平滑全景视频的方法，其特征在于，该方法包括以下步骤：

步骤一、对作为输入的每两张连续的立方体全景图的每个面建立高斯差分金字塔，对金字塔上的每个像素，将它和金字塔同层的8个相邻像素以及金字塔上下两层对应的18个像素进行比较，检测它是否是极值点，将检测到的极值点作为预选的特征点；通过拟合3维2次曲线对特征点进行精确定位，即将空间尺度函数进行泰勒展开

对该式求导，并令其为0得到特征点的精确位置再剔除低对比度和边缘响应的特征点；通过特征点邻域内像素的梯度信息确定特征点的主方向；根据特征点的位置、尺度、主方向信息在对应邻域内计算梯度直方图，作为特征点的128维的特征描述符；将立方体全景图六个面上检测到的特征点放到一起作为该图的特征点集，实现立方体全景图的SIFT特征点检测；

步骤二、将完成特征点检测的两个立方体全景图中第一个立方体全景图的特征点描述符放入k-d树树形结构中；以第二个全景图上的每个特征点为依据，借助树形结构查找其中与第一个全景图最相似的特征点，得到匹配特征点；

步骤三、随机选取8组步骤一得到的匹配特征点，利用8点法计算基础矩阵F，假设一组匹配点为x＝(x，y，1)^T和x′＝(x′，y，1)^T，F＝[f₁₁ f₁₂ f₁₃；f₂₁ f₂₂ f₂₃；f₃₁ f₃₂ f₃₃]，则满足x′xf₁₁+x′yf₁₂+x′f₁₃+y′xf₂₁+y′yf₂₂+y′f₂₃+xf₃₁+yf₃₂+f₃₃＝0；由于将f₃₃规整为1，当有8组匹配点时，得到8个上述方程，则基础矩阵F被完全确定下来；计算每组匹配点的几何误差

${\mathrm{\ϵ}}_{\mathrm{geo}}=\frac{{\left(x^{{\′}^T}\mathrm{Fx}\right)}^2}{{\left|\right|\mathrm{Fx}\left|\right|}^2+{\left|\right|F^T{x}^{\′}\left|\right|}^2},---\left(1\right)$

其中x和x′为匹配的特征点在各自图像上的坐标，F为计算得到的基础矩阵；将几何误差小于0.001的匹配点放到一致集S中，并计算一致集S中每组匹配特征点之间的角度α以及角度的均值μ_s和标准差σ_s，从而可得到角度误差，

${\mathrm{\ϵ}}_{\mathrm{ang}}=\frac{|\mathrm{\α}-{\mathrm{\μ}}_s|}{{\mathrm{\σ}}_s},---\left(2\right)$

角度误差小于0.95的匹配点组成内点集合I；重复以上过程：即根据随机选取的8组匹配点估计基础矩阵，并计算几何误差和角度误差的过程，直至角度误差不变，在前述的误差处理之后，再根据匹配特征点，利用最小二乘法重新估计基础矩阵F；通过重新估计的基础矩阵F和相机矫正矩阵K计算本质矩阵E＝K^TFK；对本质矩阵进行奇异值分解得E＝Udiag(1，1，0)V^T，则第一个相机矩阵为P＝[I 0]，第二个相机矩阵可能的选择为P′＝[UWV^T|u₃]；[UWV^T|-u₃]；[UW^TV^T|u₃]；[UW^TV^T|-u₃]；选择使重构点同时落在相机前面的相机矩阵，完成对相机相对位置参数的鲁棒估计；

步骤四、基于匹配点组成的内点集合I，采用凸包剖分的方法，在球面域内对第一张立方体全景图进行三角网格剖分，并将剖分的拓扑关系应用到第二张全景图；

步骤五、对第二张全景图的三角网格进行遮挡检测，即判断所述三角形网格间是否存在重叠；对于包含重叠的区域，使用gnomonic投影的方法将其投影到二维平面，然后采用带边约束的Delaunay三角形化方法对该区域进行三角剖分；重复以上过程直到所产生的三角网格不存在重叠现象，实现三角网格的遮挡处理；

步骤一至步骤五，实现对所输入的两张连续的立方体全景图，通过特征点检测、特征匹配，在球面域上构建立方体全景图的三角网格剖分实现立方体全景图的预处理；

步骤六、利用线性三角形法计算对应场景点的三维坐标；将场景点的三维坐标投影到新相机位置的球面域上，得到待插值全景图关键点的球面坐标及由该球面坐标确定的球面三角形；具体而言，根据相机相对位置参数估计，对待插值相机的位置C″和朝向R″进行插值，其中位置采用线性插值：

C″＝tC′+(1-t)C;（3）

其中t∈[0，1]为插值参数，即t＝0时，待插值相机与第一个相机的参数相同，t＝1时与第二个相机的参数相同；朝向采用四元数球面线性插值：

$q^{\′\′}=\mathrm{slerp}(q,q^{\′};t)=\frac{\sin (1-t)\mathrm{\θ}}{\sin \mathrm{\θ}}q+\frac{\sin \left(\mathrm{t\θ}\right)}{\sin \mathrm{\θ}}{q}^{\′},---\left(4\right)$

其中q和q′为R和R′对应的四元数，θ＝arccos(q·q′)，t∈[0，1]为插值参数；

对每组匹配点x和x′，利用线性三角形法计算对应场景点的三维坐标X；将场景点投影到新相机位置的球面域上，得到待插值全景图上特征点的坐标，

$X^{\′\′}=\frac{R^{\′\′}(X-C^{\′\′})}{\left|\right|R^{\′\′}(X-C^{\′\′})\left|\right|};---\left(5\right)$

步骤七、为每个球面三角形建立虚拟相机，计算球面三角形对应的局部坐标及虚拟相机矩阵，假设三角形用ABC表示，将局部坐标系的原点设在点A，x轴设为AB，则三角形的局部坐标为

$\left[\begin{array}{ccc}{x}_A& x_B& x_C\end{array}\right]=\left[\begin{array}{ccc}0& |B-A|& \cos \mathrm{\θ}|C-A|\\ 0& 0& \sin \mathrm{\θ}|C-A|\end{array}\right];---\left(6\right)$

该三角形对应的旋转矩阵为

R_t＝[r，u，1]^T,（7）

其中r为局部坐标系x轴的方向，l为三角形所在平面的垂线方向，u为r和l的叉积；三角形对应虚拟相机的矫正矩阵为

$K_t=\left[\begin{array}{ccc}f& 0& p_x\\ 0& f& p_y\\ 0& 0& 1\end{array}\right],---\left(8\right)$

其中f为球心到垂足的距离，p_x和p_y为垂足在局部坐标系的坐标；然后，计算三角形所对应的虚拟相机的相机矩阵：

P_t＝K_tR_tR[I -C]；（9）

对待插值全景图及输入全景图对应的每一组三角形对，基于三角形顶点坐标及虚拟相机矩阵

估计出两者间的单应矩阵H_h[1]，连接相机中心和三角形顶点得反向投影射线，计算射线的交点得三维世界中的场景点；根据3组场景点和对应的图像特征点，计算变换矩阵H₁，则H_h＝P′H₁；

步骤八、对待插值全景图上的每个像素，确定它落在三角形网格的哪个三角形上，判断像素点是否落在某个三角形上，确定好对应的三角形后，计算每个像素在该三角形局部坐标系中的坐标：

X_p＝[X_A，X_B，X_C][x_A，x_B，x_C]^-1x_p，（10）

其中，x_p为该像素对应的三维坐标，x_A，x_B，x_C为对应三角形顶点坐标，X_A，X_B，X_C是三角形顶点的局部坐标；根据三角形信息选取相应的单应矩阵，利用单应矩阵计算该像素在输入全景图上对应点的坐标；将来自两张输入全景图上对应点的颜色进行融合作为待插值全景图像素的颜色，

C＝aC₁+(1-a)C₂，（11）

在该步骤中，利用硬件光栅化对该操作进行加速：将待插值全景图上关键点的坐标以及三角邻接信息装配成顶点序列，放入DirectX的顶点缓存进行渲染，得到关键点的三角形ID索引表，根据索引表中存储的ID值来选取相应的单应矩阵；

步骤六至步骤八实现立方体全景图的实时插值，在已有三角网格对应关系基础上，估计在新相机位置的待插值三角网格组成，并基于单应矩阵对新视角三角网格进行填色。

Images