CN103646424A - 一种空中无缝虚拟漫游系统构建方法 - Google Patents

Abstract

本发明涉及一种空中无缝虚拟漫游系统构建方法，该方法包括以下步骤：航拍采样点布局、航拍图片采集、序列全景图生成、空中全景图标定、地面场景表达、航路指定、场景绘制及无缝漫游，该方法采用基于图像的绘制技术避免了场景三维重构巨大数据量对系统硬件的苛刻要求，而且通过合理安排空中全景拍摄的采样点，确保了用尽可能少的采样数据获得尽可能丰富的地面场景，进而完成无约束地任意指定航路的无缝沉浸式虚拟漫游。

Description

一种空中无缝虚拟漫游系统构建方法

技术领域

本发明属于虚拟现实技术领域，涉及一种空中无缝虚拟漫游系统构建方法。该方法搭建一个系统，采集序列航拍全景图，利用基于图像的绘制技术实现空中无缝虚拟漫游。

背景技术

虚拟现实技术是近三十年来发展起来的一种新兴技术，它从更高层次集成综合了机器视觉、计算机图形绘制、传感器、三维仿真及人工智能等信息技术，构建虚拟场景，支持用户交互，从而实现用户身临其境地观察甚至控制场景信息的目的。虚拟现实系统要满足三个特点：构想、沉浸、交互。由于计算机性能的限制（计算能力、存储能力），计算机图形绘制出三维场景通常比较粗糙，很难做到以假乱真，自然也无法提供足够的沉浸感和充分的交互性。目前，基于图像绘制技术发展迅猛，为场景逼真(pseudo-prospective)构建提供了当前计算机水平所能承受的实现手段。市场上已出现了利用此技术构建的地面近景小区域场景虚拟漫游系统，如虚拟博物馆，虚拟景观等。

当前，针对空中远景的大范围虚拟漫游系统多采用类似Google Map的模式，用户只能自由浏览热点处的航拍全景图片，仅在该处实现沉浸体验。这类由定点采集航拍图片拼成全景图，再融合地图搭建出的虚拟漫游系统，其跳跃式浏览不能满足用户自由地指定路线的无缝虚拟导航。

发明内容

本发明的目的在于克服现有技术的上述不足，提供一种空中无缝虚拟漫游系统构建方法，该方法制定了合理的采样点布局，更适合大范围区域的虚拟漫游，实现了航拍全景图之间的无缝自由指定航线的虚拟漫游，成功将基于图像的绘制技术应用于航拍全景图，真正做到了空中无约束沉浸式漫游。

本发明的上述目的主要是通过如下技术方案予以实现的：

一种空中无缝虚拟漫游系统构建方法，包括如下步骤:

步骤（一）、航拍采样点布局，即得到最稀疏采样条件下的相邻采样点之间的位置关系，包括相邻采样点之间的视角区域对应的角度α和相邻采样点之间的基线距离B，具体计算公式如下：

$\tan \mathrm{\α}=\frac{h-\mathrm{\Δh}}{B}$

${\left(\sin \mathrm{\α}\right)}^2{B}^2-(h\·\sin 2\mathrm{\α}+\frac{\mathrm{\Δh}\·{\left(\sin \mathrm{\α}\right)}^2}{\tan \mathrm{\β}})B+h(h-\mathrm{\Δh})=0$

其中： $\tan \mathrm{\β}=\frac{B\·\mathrm{\Δh}\·{\left(\sin \mathrm{\α}\right)}^2}{{(h-B\sin \mathrm{\α})}^2+2\mathrm{hB}\sin \mathrm{\α}(1-\cos \mathrm{\α})-h\·\mathrm{\Δh}};$

Δh为高程差；h为航高；β为相邻两个采样点高度感知的角度范围；

步骤（二）、在布局采样点处进行航拍图片采集；

步骤（三）、将采集得到的航拍图片制作成全景图；

步骤（四）、对步骤（三）得到的各个采样点的全景图进行标定，得到全景图之间的位置关系，即得到旋转矩阵R₁₂和平移矩阵T₁₂，具体方法如下：

首先将各个采样点的全景图表示成立方体全景图，由相邻两个全景图之间的匹配点计算相邻两个全景图之间的基本矩阵，基本矩阵

可以表达为：

$F_{{\mathrm{face}}_i^1,{\mathrm{face}}_j^2}={\left(R_{{\mathrm{face}}_j^2}{K}^{-1}\right)}^T((-R_{12}^{-1}{T}_{12})\×\left(R_{12}^{-1}{R}_{{\mathrm{face}}_i^1}{K}^{-1}\right))$

其中：

分别表示立方体全景图的6个表面{L,F,R,B,U,D}中的两个面，

和

分别表示了匹配点在相邻两个全景图所在的面相对于面F的旋转矩阵，K是立方体全景图的内参矩阵；

由基本矩阵

分解可以求解出R₁₂，T₁₂；

步骤（五）、地面场景表达，即将地面场景划分为可见性变化区域和可见性一致区域，具体方法为：

（1）、以全景图的匹配点构建三角形，形成三角形网格；

（2）、判断相邻两个全景图上对应的三角形是否来自空间同一平面，若所述两个三角形经单应阵变换对齐后区域的相关性达到设定的相关性阈值，则所述两个三角形是来自空间同一平面的投影，判定为可见性一致区域；

（3）、若所述两个三角形经单应阵变换对齐后区域的相关性未达到设定的相关性阈值，则在所述两个三角形内部继续寻找匹配点，进一步分割，重复步骤（2）进行判断，若两个三角形经单应阵变换对齐后区域的相关性仍未达到设定的相关性阈值，则再进一步分割，重复步骤（2），依此类推，直至分割后的两个三角形面积小于等于设定的最小面积值，若两个三角形经单应阵变换对齐后区域的相关性仍未达到设定的相关性阈值，则判定为可见性变化区域；

其中单应阵变换矩阵如下：

$H_{{\mathrm{face}}_j^2\→{\mathrm{face}}_i^1}={\mathrm{KR}}_{\mathrm{fa}{\mathrm{ce}}_i}^{-1}(I-\frac{T_{12}{\widetilde{\mathrm{\π}}}^T}{1+{\widetilde{\mathrm{\π}}}^T{T}_{12}})R_{12}{R}_{{\mathrm{face}}_j}{K}^{-1}$

其中，

是由全景图上三个匹配点确定的空间点

确定的平面方程，满足下式：

$\stackrel{\→}{\mathrm{\π}}=\left(\begin{array}{c}(\stackrel{\→}{X_1}-\stackrel{\→}{X_3})\×(\stackrel{\→}{X_2}-\stackrel{\→}{X_3})\\ -{\stackrel{\→}{X_3}}^T(\stackrel{\→}{X_1}\×\stackrel{\→}{X_2})\end{array}\right)=\left(\begin{array}{c}\widetilde{\mathrm{\π}}\\ 1\end{array}\right)={({\mathrm{\π}}_1,{\mathrm{\π}}_2,{\mathrm{\π}}_3,1)}^T$

步骤（六）、在采样点包络的区域内，用户指定漫游航路，并在漫游航路上布置多个虚拟视点；

步骤（七）、绘制航路上虚拟视点处的全景图，具体方法为：可见性一致区域内的三角形网格由单应阵变换矩阵直接映射，可见性变化区域内的三角形网格由离虚拟视点最近的采样点处的三角形直接映射；

步骤（八）、完成虚拟视点处全景图之间的平滑过渡，实现无缝漫游。

在上述空中无缝虚拟漫游系统构建方法中，步骤（二）中进行航拍图片采集时选择旋翼机及高分辨率相机，或者选择固定翼机和中低分辨率的广角相机，或者选择固定翼机和多个高分辨率相机以一定的角度捆绑的组合。

在上述空中无缝虚拟漫游系统构建方法中，步骤（三）中将采集得到的航拍图片制作成全景图时，若采用高分辨率相机则在单个点采集的航拍图片之间有重叠区域，在所述重叠区域找到特征匹配点，并有序组织图片，计算航拍图片各自在全视角投影的不同方位，并通过羽化算法抹去图片间的连接缝隙，实现全景图无缝拼接；若采用中低分辨率的广角相机，则航拍图片经过畸变校正后，将航拍图片映射到全景球面上制成全景图。

本发明与现有技术相比的有益效果是：

（1）、本发明以序列航拍全景图为处理对象，结合空中远景成像特点，制定了合理的采样点布局，通过分析相邻两个采样点高度感知的角度范围，得到最稀疏采样条件下的采样点布局，这种布局更适合大范围区域的虚拟漫游；

（2）、本发明选择立方体全景图作为研究对象，由于立方体全景图结构简单，便于图像压缩与存储，更加适用于空中航拍图片，有利于航拍全景图之间的无缝自由指定航线的虚拟漫游；

（3）、本发明利用基于图像的绘制技术，结合空中航拍全景图生成技术，结合两者优势可实现大范围空中远景的无缝自由虚拟漫游，并成功将基于图像的绘制技术应用于航拍全景图，实现了航拍全景图之间的无缝自由指定航线的虚拟漫游，真正做到了空中无约束沉浸式漫游；

（4）、本发明在地面场景表达中，将地面场景划分为可见性变化区域和可见性一致区域，针对不同的区域，采用不同的绘制策略，实现了高质量的虚拟全景图绘制；

（5）、本发明方法采用基于图像的绘制技术避免了场景三维重构巨大数据量对系统硬件的苛刻要求，而且通过合理安排空中全景拍摄的采样点，确保了用尽可能少的采样数据获得尽可能丰富的地面场景，进而完成无约束地任意指定航路的无缝沉浸式虚拟漫游。

附图说明

图1为本发明空中无缝虚拟漫游系统构建方法工作流程图；

图2为本发明高度感知的角度范围β与α的关系示意图；

图3为本发明α_min=π/3，α_min=π/4时采样空间某切面的观测点布局；

图4为本发明两视点立方体全景图不同面上的单应阵变换示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述：

本发明提出了一种利用基于图像的绘制技术，结合空中航拍全景图生成技术，实现大范围空中远景无缝自由虚拟漫游的系统构建方法，如图1所示为本发明空中无缝虚拟漫游系统构建方法工作流程图，本发明共分成八个步骤完成，具体如下：

步骤（一）：航拍采样点布局，即得到最稀疏采样条件下的相邻采样点之间的位置关系，包括相邻采样点之间的视角区域对应的角度α和相邻采样点之间的基线距离B。

本发明利用航空器完成对指定区域的大范围全方位航拍以生成空中虚拟漫游所需的场景信息。为了保证场景描述的完整性，要在用户自由指定漫游航路的包络区域内进行采样，采样率及采样点布局均要合理，以便用最少的采样点（采样数据）提供最丰富的场景信息，当然，一定的采样冗余设计也保障了飞机导航等传感器测量误差可能引起的数据采集漏洞。

最稀疏采样条件的设置取决于场景差异和所感知的高程差异，具体分析如下：

如图2所示为本发明高度感知的角度范围β与α的关系示意图，设C₁和C₂是相邻两个全景采样点，它们的基线是B，Δh为视线方向所能感知到的高程差，而h为航高，式（1）成立。一般情况，Δh＜＜h，式（2）成立，因为全方位视角是对称的，所以只分析α∈[0,90°]范围，为了控制深度采样率，设定一个β_threshold，如果β小于该值，C₁和C₂在该方向已无法察觉深度变化。随着视线的移动，可以得到低于β_threshold时对应α的范围，存在α的最大值α_max，在α_max范围内是无法感知高程的无效视角区域，即两个全景采样点在此区域提供了相同的信息，因此不能辨识高程。两个全景采样点在无效视角区域不会遇到可见性变化的情况，对遮挡的处理只发生在能感知高度的有效区域。理想的采样点是要保证由观测点得到的该虚拟视点处的无效视角能覆盖360度，因此，用最少的采样点去全方位覆盖无效视角，这样配置的采样点能最大程度消除冗余信息，这就是采样点最优布局的核心思想。对式（2）关于α求导，可以得到α_max应满足式（3），由α_max和β_threshold可以根据式（2）确定基线B满足式（4）。

$\tan \mathrm{\β}=\frac{B\·\mathrm{\Δh}\·{\left(\sin \mathrm{\α}\right)}^2}{h^2-h\·(\mathrm{\Δh}+B\·\sin 2\mathrm{\α})+0.5B\·\mathrm{\Δ}h\sin 2\mathrm{\α}+B^2\·{\left(\sin \mathrm{\α}\right)}^2}---\left(1\right)$

$\tan \mathrm{\β}=\frac{B\·\mathrm{\Δh}\·{\left(\sin \mathrm{\α}\right)}^2}{{(h-B\sin \mathrm{\α})}^2+2\mathrm{hB}\sin \mathrm{\α}(1-\cos \mathrm{\α})-h\·\mathrm{\Δh}}---\left(2\right)$

$\tan \mathrm{\α}=\frac{h-\mathrm{\Δh}}{B}---\left(3\right)$

${\left(\sin \mathrm{\α}\right)}^2{B}^2-(h\·\sin 2\mathrm{\α}+\frac{\mathrm{\Δh}\·{\left(\sin \mathrm{\α}\right)}^2}{\tan \mathrm{\β}})B+h(h-\mathrm{\Δh})=0---\left(4\right)$

从而，在用户指定航路区域内，设定α最大值α_max，并将球面视角以2α_max进行均分，采样点间距B_max可由式（4）计算得到，这种采样点布局是临界最优的。如图3所示为本发明α_min=π/3，α_min=π/4时采样空间某切面的观测点布局，图3中给出了α分别为π/3和π/4两种情况时空间某切面的采样点布局。为了减少实际操作中的信息采样缺失，可以通过减少采样点间距，或是增密球面均分来实现冗余采样。

步骤（二）：在布局采样点处进行航拍图片采集。

本发明漫游系统可支持包括无人机，有人机，浮空器等多种类型的航空器。根据飞行状态的差异，系统可选用的不同类型的相机。例如，如果选用旋翼机，因具有定点悬停能力，可采用高分辨率相机，依靠机身或是相机云台的旋转进行非同步采集完成360度视场角的全方位覆盖。如果选用固定翼机，可采用中低分辨率的广角相机，如鱼眼镜头一次采集便可完成180度地面全景覆盖，如果想提高图像的分辨率，也可以将多个高分辨率相机以一定的角度捆绑组合，设置同步曝光实现全方位覆盖。根据实际无线传输带宽情况，可以选择是否将图片下传至地面工作站，或是直接存储到机载设备，待任务完成落地后再取出图片。

步骤（三）：将采集得到的航拍图片制作成全景图。

将采集得到的航拍图片制作成全景图，由于采集相机视场角差异，全景图生成方法也有多种。若采用高分辨率相机则在一个点采集的航拍图片之间有重叠区域，在该重叠区域找到特征匹配点，并有序组织图片，计算航拍图片各自在全视角投影的不同方位，并通过羽化算法抹去图片间的连接缝隙，实现全景图无缝拼接；若采用中低分辨率的广角相机，则航拍图片经过畸变校正后，将航拍图片映射到全景球面上制成全景图，全景图可以是球形面、正方体面、多面体面的全景投影格式，这些格式之间均满足固定的转换关系。

步骤（四）：对步骤（三）得到的各个点的全景图进行标定，得到全景图之间的位置关系，即得到旋转矩阵R₁₂和平移矩阵T₁₂，具体方法如下：

由于采样点布局合理，相邻全景图的大部分地面景象成像相似，存在大量的匹配点，采用基于SIFT或是SURF等算子得到特征匹配点，再由RANSAC去除误匹配点。首先将各个点的全景图表示成立方体全景图，以立方体全景图为例，由相邻两个全景图之间的匹配点计算相邻两个全景图之间彼此的基本矩阵，而基本矩阵可以表达为：

$F_{{\mathrm{face}}_i^1,{\mathrm{face}}_j^2}={\left(R_{{\mathrm{face}}_j^2}{K}^{-1}\right)}^T((-R_{12}^{-1}{T}_{12})\×\left(R_{12}^{-1}{R}_{{\mathrm{face}}_i^1}{K}^{-1}\right))---\left(5\right)$

其中，分别表示立方体全景图的6个表面{L,F,R,B,U,D}中的两个面，

和

分别表示了所述匹配点在相邻两个全景图所在的面相对于面F的旋转矩阵，K是立方体全景图的内参矩阵，R₁₂和T₁₂是C₂相对C₁的旋转和平移矩阵。通过对基本矩阵的分解可以求解出R₁₂，T₁₂。最后，这些全景图彼此之间的位置关系可以确定下来。整个过程也可以用光束平差法精确求解外方位元素，以减少误差累积。

步骤（五）：地面场景表达，即将地面场景划分为可见性变化区域和可见性一致区域，具体方法为：

（1）、以全景图的匹配点构建三角形，形成三角形网格；

（2）、判断相邻两个全景图上对应的三角形是否来自空间同一平面，若所述两个三角形经单应阵变换对齐后区域的相关性达到设定的相关性阈值，则所述两个三角形是来自空间同一平面的投影，判定为可见性一致区域；

（3）、若所述两个三角形经单应阵变换对齐后区域的相关性未达到设定的相关性阈值，则在所述两个三角形内部继续寻找匹配点，进一步进行三角形分割，重复步骤（2）进行判断，若两个三角形经单应阵变换对齐后区域的相关性仍未达到设定的相关性阈值，则再进一步进行三角形分割，重复步骤（2），依此类推，直至分割后的两个三角形面积小于等于设定的最小面积值，若两个三角形经单应阵变换对齐后区域的相关性仍未达到设定的相关性阈值，则判定为可见性变化区域。

传统的场景表达就是重构场景的三维模型。由标定好的全景图，根据三角测量原理，可以得到匹配点对应的三维立体点云，通常仅利用这些稀疏匹配点是不足以充分描述地面场景的，因此需要进行稠密匹配，但又不可避免地在无纹理区域遭遇孔径问题。同时，为了提高模型精度，重建所需的数据量巨大，计算负担重。采用基于图像的绘制（IBR）可以跳过三维重建的复杂过程，直接实现在虚拟视点的全景成像，即由虚拟视点周围采样点处的全景图推知虚拟视点处的成像情况。IBR技术因在一定程度上避免了三维模型重建的繁重计算量，又保证了合成图像的真实感，成为传统的基于几何图形学建模的良好替代技术，通过这种图像空间的变换操作来代替传统图形绘制可以解决建模复杂度和绘制速度与绘制质量上的矛盾。

这里可以采用一种基于稀疏匹配点的规则区域描述方法，选择以匹配点为顶点的2-D/3-D三角形网来分别描述场景的可见性变化区域和可见性一致区域。可见性一致区域代表了这些区域是来自同一空间对应平面的投影，而可见性变化区域是指出现了遮挡、重现等变化的投影区域，这种分而治之的策略在应对低采样率宽基线的虚拟视角合成时显得很有优势。以立方体全景图为例，如图4所示为本发明两视点立方体全景图不同面上的单应阵变换示意图，Δabc和Δa′b′c′是相邻两个采样点C₁和C₂的立方体全景图上的对应匹配点构建的三角形，如果它们均是来自空间同一平面的，则单应阵变换（见式(6)）对齐后区域的相关性高（即达到设定的相关性阈值），否则它们来自不同空间平面，需要在三角形内部继续寻找匹配点，实施更进一步的分割，直至分割后的两个三角形面积小于等于设定的最小面积值。最后，将这两类三角形以不同的绘制策略重映射到虚拟视点完成绘制。

三角形在立方体面上的投影往往横跨多个平面，式(6)给出了采样点C₁的立方体全景图的face_i到采样点C₂的立方体全景图的face_j的单应阵变换矩阵：

$H_{{\mathrm{face}}_j^2\→{\mathrm{face}}_i^1}={\mathrm{KR}}_{\mathrm{fa}{\mathrm{ce}}_i}^{-1}(I-\frac{T_{12}{\widetilde{\mathrm{\π}}}^T}{1+{\widetilde{\mathrm{\π}}}^T{T}_{12}})R_{12}{R}_{{\mathrm{face}}_j}{K}^{-1}---\left(6\right)$

其中，

是由全景图上三个匹配点确定的空间点

确定的平面方程，满足下式：

$\stackrel{\→}{\mathrm{\π}}=\left(\begin{array}{c}(\stackrel{\→}{X_1}-\stackrel{\→}{X_3})\×(\stackrel{\→}{X_2}-\stackrel{\→}{X_3})\\ -{\stackrel{\→}{X_3}}^T(\stackrel{\→}{X_1}\×\stackrel{\→}{X_2})\end{array}\right)=\left(\begin{array}{c}\widetilde{\mathrm{\π}}\\ 1\end{array}\right)={({\mathrm{\π}}_1,{\mathrm{\π}}_2,{\mathrm{\π}}_3,1)}^T---\left(7\right)$

face_i、face_j分别为所述两个三角形在相邻两个全景图上所在的面；

步骤（六）：航路指定。

在采样点包络的区域内，用户可以自行指定漫游航路，航路上可以根据需要布置任意多个虚拟视点，邻近虚拟视点的采样点处的全景图可以自动调出，与此相关的场景表达信息（如2-D/3-D三角形网）也自动加载。

步骤（七）：绘制航路上虚拟视点处的全景图

一旦从数据库中动态加载了全景图及相关的场景信息，便可实时生成虚拟全景图。在2-D/3-D三角形网绘制中，可见性一致区域内的三角形网格由单应阵变换矩阵直接映射，可见性变化区域内的三角形网格由离虚拟视点最近的采样点处的三角形直接映射。整个过程在线处理，目前可以做到若干秒内便可合成一帧虚拟全景图，基本实现了近实时的绘制。

步骤（八）：完成虚拟视点处全景图之间的平滑过渡，实现无缝漫游。

任意航路指定已经摆脱了只能在采样点漫游的限制，而航路上的虚拟视点也可近实时地完成虚拟全景合成。用户界面提供了与这些虚拟视点交互的平台，支持虚拟视点间的平滑过渡，视点内的全方位浏览，甚至支持航向的突然转变，反向逆行等实际不可能出现的飞行操作。最终实现无任何约束地任意航线上的空中无缝虚拟漫游。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (3)

1.一种空中无缝虚拟漫游系统构建方法，其特征在于：包括如下步骤:

步骤（一）、航拍采样点布局，即得到最稀疏采样条件下的相邻采样点之间的位置关系，包括相邻采样点之间的视角区域对应的角度α和相邻采样点之间的基线距离B，具体计算公式如下：

$\tan \mathrm{\α}=\frac{h-\mathrm{\Δh}}{B}$

${\left(\sin \mathrm{\α}\right)}^2{B}^2-(h\·\sin 2\mathrm{\α}+\frac{\mathrm{\Δh}\·{\left(\sin \mathrm{\α}\right)}^2}{\tan \mathrm{\β}})B+h(h-\mathrm{\Δh})=0$

其中： $\tan \mathrm{\β}=\frac{B\·\mathrm{\Δh}\·{\left(\sin \mathrm{\α}\right)}^2}{{(h-B\sin \mathrm{\α})}^2+2\mathrm{hB}\sin \mathrm{\α}(1-\cos \mathrm{\α})-h\·\mathrm{\Δh}};$

Δh为高程差；h为航高；β为相邻两个采样点高度感知的角度范围；

步骤（二）、在布局采样点处进行航拍图片采集；

步骤（三）、将采集得到的航拍图片制作成全景图；

步骤（四）、对步骤（三）得到的各个采样点的全景图进行标定，得到全景图之间的位置关系，即得到旋转矩阵R₁₂和平移矩阵T₁₂，具体方法如下：

首先将各个采样点的全景图表示成立方体全景图，由相邻两个全景图之间的匹配点计算相邻两个全景图之间的基本矩阵，基本矩阵

可以表达为：

$F_{{\mathrm{face}}_i^1,{\mathrm{face}}_j^2}={\left(R_{{\mathrm{face}}_j^2}{K}^{-1}\right)}^T((-R_{12}^{-1}{T}_{12})\×\left(R_{12}^{-1}{R}_{{\mathrm{face}}_i^1}{K}^{-1}\right))$

其中：

分别表示立方体全景图的6个表面{L,F,R,B,U,D}中的两个面，

和分别表示了匹配点在相邻两个全景图所在的面相对于面F的旋转矩阵，K是立方体全景图的内参矩阵；

由基本矩阵

分解可以求解出R₁₂，T₁₂；

步骤（五）、地面场景表达，即将地面场景划分为可见性变化区域和可见性一致区域，具体方法为：

（1）、以全景图的匹配点构建三角形，形成三角形网格；

（2）、判断相邻两个全景图上对应的三角形是否来自空间同一平面，若所述两个三角形经单应阵变换对齐后区域的相关性达到设定的相关性阈值，则所述两个三角形是来自空间同一平面的投影，判定为可见性一致区域；

（3）、若所述两个三角形经单应阵变换对齐后区域的相关性未达到设定的相关性阈值，则在所述两个三角形内部继续寻找匹配点，进一步分割，重复步骤（2）进行判断，若两个三角形经单应阵变换对齐后区域的相关性仍未达到设定的相关性阈值，则再进一步分割，重复步骤（2），依此类推，直至分割后的两个三角形面积小于等于设定的最小面积值，若两个三角形经单应阵变换对齐后区域的相关性仍未达到设定的相关性阈值，则判定为可见性变化区域；

其中单应阵变换矩阵如下：

$H_{{\mathrm{face}}_j^2\→{\mathrm{face}}_i^1}={\mathrm{KR}}_{\mathrm{fa}{\mathrm{ce}}_i}^{-1}(I-\frac{T_{12}{\widetilde{\mathrm{\π}}}^T}{1+{\widetilde{\mathrm{\π}}}^T{T}_{12}})R_{12}{R}_{{\mathrm{face}}_j}{K}^{-1}$

其中，

是由全景图上三个匹配点确定的空间点

确定的平面方程，满足下式：

$\stackrel{\→}{\mathrm{\π}}=\left(\begin{array}{c}(\stackrel{\→}{X_1}-\stackrel{\→}{X_3})\×(\stackrel{\→}{X_2}-\stackrel{\→}{X_3})\\ -{\stackrel{\→}{X_3}}^T(\stackrel{\→}{X_1}\×\stackrel{\→}{X_2})\end{array}\right)=\left(\begin{array}{c}\widetilde{\mathrm{\π}}\\ 1\end{array}\right)={({\mathrm{\π}}_1,{\mathrm{\π}}_2,{\mathrm{\π}}_3,1)}^T$

步骤（六）、在采样点包络的区域内，用户指定漫游航路，并在漫游航路上布置多个虚拟视点；

步骤（七）、绘制航路上虚拟视点处的全景图，具体方法为：可见性一致区域内的三角形网格由单应阵变换矩阵直接映射，可见性变化区域内的三角形网格由离虚拟视点最近的采样点处的三角形直接映射；

步骤（八）、完成虚拟视点处全景图之间的平滑过渡，实现无缝漫游。

2.根据权利要求1所述的一种空中无缝虚拟漫游系统构建方法，其特征在于：所述步骤（二）中进行航拍图片采集时选择旋翼机及高分辨率相机，或者选择固定翼机和中低分辨率的广角相机，或者选择固定翼机和多个高分辨率相机以一定的角度捆绑的组合。

3.根据权利要求1所述的一种空中无缝虚拟漫游系统构建方法，其特征在于：所述步骤（三）中将采集得到的航拍图片制作成全景图时，若采用高分辨率相机则在单个点采集的航拍图片之间有重叠区域，在所述重叠区域找到特征匹配点，并有序组织图片，计算航拍图片各自在全视角投影的不同方位，并通过羽化算法抹去图片间的连接缝隙，实现全景图无缝拼接；若采用中低分辨率的广角相机，则航拍图片经过畸变校正后，将航拍图片映射到全景球面上制成全景图。

Images