CN101877140A - 一种基于全景图的全景虚拟游方法 - Google Patents

Abstract

本发明提出了一种基于全景图的全景虚拟游方法，包括基于图像特征检测技术和低噪图像融合技术的全景图拼接生成、全景图的去除黑边处理、高效全景图浏览器等的算法实现。在全景图拼接技术的特征检测、特征匹配、误配去除、参数优化、图像融合等步骤中，改进并应用了SIFT、RANSAC、k-d tree、Bundle Adjustment等算法。达到了较快的处理速度和逼真的虚拟游效果。具有很高的实用价值。

Description

一种基于全景图的全景虚拟游方法

技术领域

本发明属于虚拟现实领域，具体涉及利用图像处理技术进行全景图的拼接和浏览。

背景技术

通过互联网或其他载体，将旅游景观动态且逼真地呈现在旅游者面前，让旅游者根据自己的意愿选择游览路线、速度及视点，足不出户就可以游览远在万里之遥的风光美景，这便是虚拟旅游。三维引擎作为实现虚拟旅游体验的一种重要方式，它的主要作用是在计算机上创造出一个虚拟的旅游环境。通过与该虚拟环境的交互体验，人们可以在个人计算机上进入一个虚拟的旅游景点，并在虚拟景观中进行实时地浏览。

目前，利用计算机视觉技术的虚拟游方法主要有以下两种：

1.利用网页超文本链接、图片、视频等描述能力制作而成的虚拟游。这种方法实现简单，运行维护成本低。但有特色不鲜明、吸引力不高、用户印象难以加深等缺点。随着互联网信息的大量充斥，这种方式的虚拟游已经被渐渐淹没在数以亿计的网页中，难以获得良好的体验效果。

2.利用三维建模技术制作而成的虚拟游。随着三维计算机视觉技术的不断成熟，出现了许多支持三维建模的软件平台，如OpenGL、DirectX等，越来越多的计算机视觉应用引入了三维建模的技术来进行真实世界的模拟，同时基于三维建模技术制作的虚拟游应用也应运而生。与第1种方法相比，这种方法具有网页图片无可比拟的立体感。但是由于目前三维建模的局限性，这种方法的真实感还是比较欠缺，同时由于数据量大，实时处理要求高，对计算机的性能也提出了巨大的考验。

本发明基于三维计算机视觉技术，提出了一种利用全景图进行虚拟游的方法。

发明内容

本发明的目的在于提出一种虚拟游技术，结合计算机视觉、数字图像处理等相关技术，该方法精度较高，且效率较好。本发明的技术方案具体是这样实现的：

1.全景图拼接生成；

2.对生成的全景图进行去除黑边处理；

3.将生成的全景图输入全景浏览器进行浏览。

本发明有以下一些技术特征：

(1)步骤1具体包括特征提取、特征匹配、去除误配、参数求解、图像映射融合等几个步骤，在各个步骤中采用了SIFT、k-d tree、RANSAC、Bundle Adjustment等算法，并根据需求对相关算法进行了改进；

(2)步骤2所述的黑边是用矩形照片拼接生成全景图后产生的；

(3)步骤3所述的全景图浏览器实现了从球面坐标系到平面坐标系的反映射；

本发明提出了一种基于全景图的虚拟游方法，方法切实可行，对相关问题的方案设计及算法选择有一定的借鉴意义。

附图说明

图1为全景图拼接流程；

图2为基于SIFT特征匹配的全景图拼接流程；

图3为尺度轨迹；

图4为SIFT特征提取算法流程图；

图5为DoG尺度空间局部极值检测；

图6为由梯度方向直方图确定主梯度方向；

图7为由关键点邻域梯度信息生成特征向量；

图8为RANSAC算法基本思想；

图9为LMA参数优化算法流程；

图10为全景图浏览工作流程。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实例对本发明做进一步地详细说明。

1.全景图的拼接

全景图像的拼接是指利用照相机的平移或旋转得到的部分重叠的图像样本，生成一个较大的甚至360度的全方位图像的场景绘制方法。即给定某个真实场景的一组局部图像，然后对这一组图像进行拼接，生成包含这组局部图像的新视图。图1是图像拼接的基本流程。

目前全景图基本可分为柱面、球面、立方体等形式，以球面全景图效果最好，最适合相机参数模型的视觉转换而普遍采用。全景图的拼接一般有以下几个步骤：

●先将从真实世界中拍摄的一组照片以一定方式投影到统一的空间面中，空间面有立方体、圆柱体和球体表面等，这样这组照片就具有统一的参数空间坐标；

●在这个统一的空间面对相邻图像进行比较，以确定可匹配的区域位置；

●将图像重叠区域进行融合处理，拼接成全景图。

图2为全景图拼接生成总体流程。

图像匹配：在全景图的构建中，相邻图像重叠范围的确定即图像匹配是最为关键的一步，一般的方法都是根据图像序列中相邻两幅图像的重叠区域的相似性来实现，有直接方法和基于特征的方法等。

1.1SIFT特征提取

1.1.1图像多尺度表示

二维高斯函数定义如下：

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}$

σ代表了高斯正态分布的方差。一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

上式中，(x，y)代表图像的像素位置，σ称为尺度空间因子，其值越小则表征该图像被平滑的越少，相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征，L代表了图像的尺度空间。

1.1.2SIFT特征匹配算法

DoG算子如下所示：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)

＝L(x，y，kσ)-L(x，y，σ)

对于图像上的点，计算其在每一尺度下DoG算子的响应值，这些值连起来得到特征尺度轨迹曲线。特征尺度曲线的局部极值点即为该特征的尺度。尺度轨迹曲线上完全可能存在多个局部极值点，这时可认为该点有多个特征尺度。

图3(b)为(a)中十字花点处的尺度轨迹曲线。可见该图中尺度轨迹曲线在大约σ＝5处取得局部极小值。

SIFT特征匹配算法包括两个阶段，第一阶段是SIFT特征的生成，即从多幅待匹配图像中提取出对尺度缩放、旋转、亮度变化无关的特征向量；第二阶段是SIFT特征向量的匹配。下面具体介绍一下SIFT算法。一幅图像SIFT特征向量的生成算法总共包括4步：

(1)尺度空间极值检测，以初步确定关键点位置和所在尺度。

图5为DoG尺度空间的三个相邻尺度。在检测尺度空间极值时，图中标记为叉号的像素需要跟包括同一尺度的周围邻域8个像素和相邻尺度对应位置的周围邻域9×2个像素总共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值。

(2)通过拟和三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。

(3)利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x，y)＝atan 2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

式为(x，y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。

在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0-360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。图6是采用7个柱时使用梯度直方图为关键点确定主方向的示例。

在梯度方向直方图中，当存在另一个相当于主峰值80％能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向(一个主方向，一个以上辅方向)，这可以增强匹配的鲁棒性。至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。由此可以确定一个SIFT特征区域。

(4)生成SIFT特征向量。

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。接下来以关键点为中心取8×8的窗口。图7左部分的中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中蓝色的圈代表高斯加权的范围(越靠近关键点的像素梯度方向信息贡献越大)。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图7右部分所示。此图中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

实际计算过程中，为了增强匹配的稳健性，Lowe建议对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

1.2特征点匹配

特征点匹配用于建立2幅图像特征点之间的对应关系。特征点匹配就是特征点描述子误差能量的比较，描述子误差能量：

$d=\sqrt{\underset{i=0}{\overset{127}{\mathrm{\Σ}}}{(F{V}_1\left(i\right)-F{V}_2\left(i\right))}^2}$

如果通过一一比较描述子误差能量来匹配特征点，则复杂度为O(n²)，可以采用k-D树将复杂度降低为O(n log n)。

1.3剔除误配

经过上述步骤的匹配，有些特征点对没有映射到场景同一点，它们是非匹配点对，也称外点，相对而言，内点是匹配点对，真正对应场景中同一点。外点的存在对参数求取有负面影响，需要剔除外点。RANSAC(random sample consensus)是应用最广泛的外点剔除算法，其思想如图8所示。算法计算出待拼接图像之间的坐标转换关系。坐标转换关系即两幅图像之间的变换矩阵。变换矩阵包括两幅图像间的平移、旋转和缩放关系，通过变换矩阵能够找到一幅图像中的点在另一幅图像中的位置。

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

或A′＝M·A

式中：A(x，y)，A′(x′，y′)是一对候选匹配点对；M是变换矩阵。

RANSAC算法的步骤是：

(1)从N个候选匹配特征点对中随机选取4个点对建立方程组，解出变换矩阵M的8个未知参数；

(2)计算其余(N-4)个特征点经过变换矩阵M的变换，与它的候选匹配点之间的距离；

dv＝d(A′，M·A)²

式中AA′为一对候选匹配特征点；

(3)若dv小于某一阈值，则该候选特征点为内点，否则为外点。这里内点是指正确匹配的特征点对；

(4)统计在此变换矩阵下内点的数量；

(5)再选另外4对候选匹配点，执行步骤(1)-(4)，重复若干次后，选择具有内点数量最多的集合作为最佳内点集合。在此最佳内点集合下的变换矩阵M的8个参数值作为参数估计的最优值。

据此，求出了两幅图像之间的坐标转换关系，即变换矩阵M。

RANSAC估计的目的是①剔除误匹配特征点对②求得图像间的坐标变换关系。

图像配准：拼接图像的质量主要依赖图像的配准精度，其核心问题是寻找一个变换，找到待拼接图像中的模板或特征点在参考图像中对应的位置，根据模板或者图像特征之间的对应关系，可以计算出数学模型中的各参量值，从而建立两幅图像的数学模型，使图像间相互重叠部分对准，将待拼接图像转换到参考图像的坐标系，以此构成完整的图像。

设相机围绕光心进行三维旋转，首先要选取旋转参数。在已有的一些研究提出的方法中直接选取水平、垂直、绕轴三个方向的欧拉角(a，β，γ)作为旋转参数，使用这些参数直接计算三个旋转矩阵并将它们相乘以得到最终的旋转矩阵。这种方法比较简单，三个参数的物理意义较直观，但是在计算中由于涉及两次矩阵乘法，将会形成累积误差，结果矩阵容易失去正交性，而且矩阵乘法计算复杂，不利于参数增量的计算。所以我们使用转轴/转角表示法，把旋转表示为绕一个三维单位向量n旋转θ角度，由于只有旋转轴n的方向具有矢量性质，因此可把n和θ相乘得到：

ω＝θn＝(ω₁，ω₂，ω₃)                            (1)

作为三个自由度的旋转参数。虽然这与(a，β，γ)的欧拉角表示法自由度相同，都是三维向量，但两者的意义不同，转轴/转角表示法具有更好的代数特性。

将旋转参数表示为向量ω后，旋转矩阵可以通过Rodriguez公式计算得到：

$R=e^{{\left[\mathrm{\ω}\right]}_{\×}}=I+\frac{\sin \mathrm{\θ}}{\mathrm{\θ}}{\left[\mathrm{\ω}\right]}_{\×}+\frac{1-\cos \mathrm{\θ}}{{\mathrm{\θ}}^2}{\left[\mathrm{\ω}\right]}_{\×}^2---\left(2\right)$

其中θ＝||ω||，[ω]_×是ω的叉积运算符的矩阵形式：

${\left[\mathrm{\ω}\right]}_{\×}=\left[\begin{array}{ccc}0& -{\mathrm{\ω}}_3& {\mathrm{\ω}}_2\\ {\mathrm{\ω}}_3& 0& -{\mathrm{\ω}}_1\\ -{\mathrm{\ω}}_2& {\mathrm{\ω}}_1& 0\end{array}\right]---\left(3\right)$

有了旋转参数ω，再加上相机焦距f，就构成所需要的4个参数。

设一个3D空间点p在图像I₀上的投影映射像素为u0＝(x₀，y₀)，u0的齐次坐标 ${\tilde{u}}_0=(x_0,y_0,1),$ 图像的旋转和焦距参数为ω₀和f₀，由齐次变换有：

${\tilde{u}}_0~K_0{R}_{0}p---\left(4\right)$

其中：

$K_0=\mathrm{diag}(f_0,f_0,1),R_0=e^{{\left[{\mathrm{\ω}}_0\right]}_{\×}}---\left(5\right)$

符号～表示齐次坐标经过变换后需要再经过齐次化处理。

若相同的点p在图像I₁上的投影像素为u₁(如两幅图像中相对应的特征点)，则类似的有：

${\tilde{u}}_1~K_1{R}_{1}p---\left(6\right)$

由(4)和(6)得到：

${\tilde{u}}_1~K_1{R}_1{R}_0^T{K}_0^{-1}{\tilde{u}}_0=H_{10}{\tilde{u}}_0---\left(7\right)$

其中H₁₀是一个3×3单应变换矩阵。

至此得到了两幅图像通过相对应的特征点相互联系的途径。即通过图像参数计算图像之间的空间变换关系矩阵。

对若干幅需要进行拼接的图像，关键是求取每幅图像的参数，可以通过以某幅图像为基准，将其它图像的参数以此为参考进行优化来做到。但这样做的缺点是累积误差会随着图像的增多而增大。因此我们采用LMA算法对所有图像的参数进行全局优化。在优化过程中每次加入一幅图像，取已优化的任一与其匹配的图像的参数作为它的初始参数进行计算，求出当前配准图像集的最优参数集，然后加入下一幅图像进行同样的处理。每一幅图像的特征点均需要映射到其所对应的所有特征点所在的图像上，保证了最终求得的参数是全局最优的。已知两幅图像I_i，I_j中对应的特征点u_i ^k和u_j ^l(u_i ^k表示第i幅图像中的第k个特征点)，映射误差r定义如下：

$r_{\mathrm{ij}}^k=u_i^k-p_{\mathrm{ij}}^k---\left(8\right)$

其中p_ij ^k是u_j ^l到图像I_i上的映射点：

${\tilde{p}}_{\mathrm{ij}}^k=K_i{R}_i{R}_j^T{K}_j^{-1}{\tilde{u}}_j^l---\left(9\right)$

其中K_i和R_i由当前图像参数应用公式(10)计算出。注意这里并没有用～符号而是用＝号，表示这里的 ${\tilde{p}}_{\mathrm{ij}}^k=(x,y,z)$ 不进行齐次化处理，这是为了方便计算Jacobian矩阵。但仍然有p_ij ^k＝(x/z，y/z)是

经过齐次化后的图像像素坐标。二次误差和函数的定义如下：

$e=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j\∈\mathrm{\Φ}\left(i\right)}{\mathrm{\Σ}}\underset{k\∈\mathrm{\Γ}(i,j)}{\mathrm{\Σ}}(u_i^k-p_{\mathrm{ij}}^k)---\left(10\right)$

其中n表示图像个数，Φ(i)表示与第i幅图像相匹配的图像集合，Γ(i，j)表示图像i和j之间的匹配特征点。

将以上公式代入LMA算法的过程进行循环迭代，每帧图像的参数在每一次迭代后会向正确的结果收敛。在实际应用中对于分辨率较大的图像，这一过程可以得到很高的收敛成功率。但是随着分辨率的下降，由于特征点与特征点之间的相对位置关系模糊化和二义性，容易导致错误的收敛结果。因此我们在基于欧式距离的误差函数e的基础上，增加颜色的比对误差，计算目标点的颜色和映射点的颜色误差总和，并以此来修正e，当传统的LMA的某一步迭代给出一个错误的参数调整方向时，虽然e减小了，但由于颜色误差的显著增大而判定为错误的收敛方向，予以放弃，并在下一步迭代向相反方向调整，从而大大提高了收敛正确率。

为了避免颜色误差带来的负面影响，我们规定只有在e和总颜色误差降低到一定的范围内时，这条规则才有效；对于不同分辨率的图像，颜色误差策略的影响随分辨率增大而减小，因为在足够大分辨率的图像上，仅仅依靠总距离误差e已经可以得到正确的结果。LMA参数优化算法流程如图9所示。

图像合成：在获得待配准图像之间的空间变换关系之后，为了得到合成图像，就需要选择合适的图像合成策略，完成图像的拼接。

基于图像配准的结果，我们可以得到每一帧图像的相机参数，由于我们要创建的是球面全景图，前面建立的转轴/转角相机模型参数非常适合于直接将待拼接图像绘制到球面上。再将其展开就得到我们的全景图像。

为了得到无缝的高清晰图像，就要选择合适的融合策略。融合策略的选择应当满足两方面的要求：拼合边界过渡应平滑，消除拼合接缝实现无缝拼接；尽量保证不因拼合处理而损失原始图像的信息。

2.全景图去除黑边

由于对矩形图像进行了球面映射，因此拼接生成的全景图就会出现黑边现象。为了去除黑边，我们在生成的全景图上进行逐行扫描，当发现连续纯黑色的像素超过n个时，这一整行被作为黑边予以剔除。对于n的取值，经过实验，我们认为取n＝515效果比较好。为了使用户得到满意的效果，我们在实现中把n设计为可配置的，让用户决定最佳的取值。

3.全景图浏览和漫游

全景图浏览器读入场景脚本，根据需要调入全景图，按照用户的输入改变摄像机的方向和焦距，实时地将球面全景图变换成平面投影图，并在屏幕上显示。图10是漫游工具的工作流程和主要模块。

从观察者的视场角度来讲，看到的是一幅幅平面的图像，反映在计算机的屏幕上就是动态的平面图像。一般可以使用基于纹理映射的方法或者基于图像绘制的方法来进行球面全景图的绘制。基于纹理映射的方法把球面全景图作为一幅纹理图像映射到球体的表面，然后使用OpenGL或者DirectX函数进行绘制；使用基于图像绘制的方法基于球面全景图的重投影原理。在对球面全景图进行交互式漫游的过程中，通过改变视点的方向和视域的大小来决定视平面在三维空间中的位置，然后使用重投影算法就可以根据球面全景图生成场景在不同视域和视角下新的透视视图。

从视平面坐标(x，y，z)动到球面全景图坐标(u，v)的重投影公式为：

u＝r·arctan(x/z)

$v=r\·\arctan (y/\sqrt{x^2+z^2})---\left(11\right)$

其中r为球面的半径。

对球面全景图进行绘制需要模拟相机在三维空间中的运动。相机在三维空间中具有3个旋转自由度；绕x轴和y轴的旋转可以通过重投影来完成，绕x轴的旋转可以通过图像旋转来完成。相机在三维空间中还存在变焦运动，改变相机的焦距等价于改变相机的视域。

详细的重投影算法为：

(1)根据水平和垂直旋转角度计算复合旋转矩阵；

(2)计算视点到视平面的距离d；

(3)计算视平面上每一个像素经过旋转和变焦后的三维坐标；

(4)计算球面全景图上对应像素的坐标，并对球面全景图进行重新采样；

(5)重复步骤(2)-(4)，直到视平面上的所有像素均被处理完毕；

(6)显示视平面，完成新视图的绘制。

Claims (6)

1.一种基于全景图的全景虚拟游方法，其特征在于，该方法包括：

全景图的自动拼接生成。自动拼接不同于传统的图像处理软件中的手工指定参数进行拼接的方法，而是用户只需输入特别摄制的照片，经过图像特征提取、特征匹配、误配去除、参数优化、球面映射、图像融合等软件处理即可自动输出全景图，这个过程是全自动的，无需用户进行任何干预；

全景图的去除黑边处理。由于对矩形的原始照片进行了球面映射，全景图的上下边缘不可避免地呈现弧度的弯曲和黑色的缝隙，经过智能化的检测处理将黑色边缘完全去除，使全景图达到最佳效果。

全景图浏览器的设计与实现。全景图浏览器的主要作用是将全景图进行球面反映射，使其还原为用户视觉较为熟悉的普通平面，并通过旋转、缩放、跳转等交互式操作，产生虚拟游的效果。

2.根据权利要求1所述的方法，其特征在于，对待拼接图像进行了SIFT特征提取并进行了特征匹配。

3.根据权利要求1所述的方法，其特征在于，对获得的特征匹配进行了去除误配的处理。

4.根据权利要求1所述的方法，其特征在于，使用球面映射方法生成最终的全景图。

5.根据权利要求1所述的方法，其特征在于，通过计算图像连续黑色像素的方法去除了球面映射造成的黑边。

6.根据权利要求1所述的方法，其特征在于，基于Flash设计的全景图浏览器通过球面反映射技术将全景图映射为平面图像。

Images