CN1707353A

CN1707353A - 一种基于全帧图像生成球形全景的方法

Info

Publication number: CN1707353A
Application number: CN200410093186.6A
Authority: CN
Inventors: 刘小华
Original assignee: SHANGHAI JIETU SOFTWARE TECHN CO Ltd
Current assignee: SHANGHAI JIETU SOFTWARE TECHN CO Ltd
Priority date: 2004-12-17
Filing date: 2004-12-17
Publication date: 2005-12-14
Anticipated expiration: 2024-12-17
Also published as: CN100458560C

Abstract

本发明公开了一种基于全帧(full frame)图像生成球形全景的方法，通过构造两度球面空间模型的两种空间结构，以满足拍摄水平六张加天、地两张共八张全帧图像和拍摄水平四张加天、地两张共六张全帧图像生成球形全景，本发明针对全帧图像的特点，通过参数化全帧图像的中心，建立了一种新的优化方程。采用本发明的方法，图像拼合速度快、自动化程度高，图像清晰度远远高于用其它全景生成方法生成的图像清晰度。

Description

一种基于全帧图像生成球形全景的方法

技术领域

本发明涉及一种全景图像生成方法，尤其涉及一种基于全帧(fullframe)图像生成球形全景的方法。

背景技术

全景技术是近年来发展起来的一种基于图像的绘制技术，这种技术的特点是它的绘制和场景的复杂度无关，并且能够达到照片一级的真实感。使用这种技术，用户首先通过照相器材拍摄到某一场景的一组样本图像，然后对样本图像进行拼合得到最终的全景图像。球模型全景是指在播放时把图像数据映射在以视点为中心的球面上的全景，立方体全景则是在播放时把图像数据映射在以视点为中心的立方体面上的全景。整球形全景是指视角范围达到水平方向360度，竖直方向180度无观察死角的全景图像。通把柱模型全景称为柱形全景，而把球模型全景和立方体模型全景统称为球形全景。

目前全景图像的生成方法较多，但拍摄过程复杂，拼合难度高，效果差。生成全景图像可以有多种技术方案，其中之一：基于圆鱼眼或鼓形图像生成全景的方案，先给出任意N张圆鱼眼(N≥3张)或鼓形图像(N≥4张)，再生成全景图像的，该方案可以有效解决现有算法不能够自动拼合4张以上圆鱼眼图像和不能自动拼合鼓形图像的问题，但是不足之处在于，传统圆鱼眼图像生成的全景图像清晰度不如鼓形图像，而云台沿水平旋转所拍摄的鼓形图像又不能生成无缝的全球形全景，由于用于拍摄鼓形图像的sigma镜头的竖直视角(VFov)只有180度，这意味着，镜头与相机的系统误差和摄影师拍摄时的测量误差，将导致在全景图像的顶、底部会有少量的信息丢失。另一种基于六张鼓形图像生成球形全景图像的技术方案，可以有效地解决上述信息丢失的问题，该方案给出“三度球面空间”模型，基于此模型提出一种拍摄方式，可用于解决全景图像拼合中补天地的问题，但是从清晰度效果来看，鼓形图像的清晰效果不如全帧图像，对全帧(full frame)镜头来说，其竖直视角(VFov)为150度，水平视角(HFov)为100度，其特点是CCD摄像元件或底片的利用率为100％，如图1中103所示。设数码相机分辨率为2000*3008像素，运用全帧图像生成分辨率为3000*6000像素的全景图像，则全景图像区域中的一个象素点平均要从样本图像区域中1.4个象素点插值算出，而对于sigma镜头来说，生成相同的图像，平均要从0.96个象素点插值算出，因此基于全帧图像可以生成清晰度更高的全景图像，其效果比基于鼓形图像生成的全景图像效果更好。追求高清晰度的用户，可能更倾向于使用全帧(full frame)镜头，“三度球面空间”模型要求每幅图像与其它四幅图像相邻，且相邻图像之间存在最佳点对。以六张采用肖像(Portrait)模式拍摄的全帧图像为例，由于其水平视角(HFov)为100度，垂直视角(VFov)为150度，水平方向(即经度为0度方向)所在四张图像之间的最小重合区域为10度左右，实践表明，当相邻图像的重合区域为10度时，不能保证它们之间的匹配特征点可以被准确匹配出来，对于重合区域分别为60度和35度时则可以。对于采用风景(Landscape)模式，其结果与上类同。

现有的全景图像生成方法存在着原始图像拍摄复杂、拼合过程自动化程度低、耗时长，清晰度低的缺点。

发明内容

本发明要解决的技术问题是提供一种基于全帧图像的球形全景图像生成方法，完善全帧图像的拼合问题，生成清晰度更高的全景图像，提出了一种新的优化方程。

本发明的基于全帧图像生成球形全景的方法，包括如下步骤：建立空间模型；相邻特征点提取与匹配；建立并求解优化方程；生成全景图像。

建立空间模型是建立两种不同的空间结构，以处理不同的输入样本图像：对三度空间模型进行变形，仅保留其两个方向的子球面，生成一种两度空间模型以支持四张水平加顶、低全帧图像生成整球形全景；建立一种两度空间模型的新结构以支持六张水平加顶、低全帧图像生成整球形全景。

在六张水平全帧图像所对应的中心矢基本共面，相邻中心矢之间的夹角为60度；顶、低图像与水平图像中的某两幅全帧图像的中心矢基本共面，且相邻中心矢之间的夹角为90度。

建立空间模型还包括对每张全帧图像设定5个私有定位参数和3个公有变换参数；5个私有定位参数包括3个空间定位参数(旋转、摇摆、俯仰)和2个图像中心定位参数(x、y)；3个公有变换参数包括：有效视角(FOV)、镜头非线性变化(r＝α*sin(β*θ))中α和β，其中r为感兴趣点到最优包络圆区域圆心的距离，θ为镜头轴向和从镜头中心点到该感兴趣点在实际景物中所对应点连线的夹角，α是一个缩放因子，从而实现实际场景与圆鱼眼或鼓形图像平面上点的一一映射，β为径向映射参数。

本发明提出了一种新的优化方程，因为系统误差或测量误差，使得沿镜头轴向入射的光线，在CCD或胶片上的投影不在CCD或胶片上的中心，即图像的中心，而这种微小的偏差缺乏一定的标准进行判断和度量，如圆鱼眼和鼓形图像的中心可以通过边界园进行定位，本发明建立优化方程，是指基于相邻图像的最佳点对集建立优化方程：

\min Σ_{i}^{N} Σ_{k}^{k_{i}} | | f_{i} (F_{ik}, V) - g_{i} (B_{ik}, V) | |,

其中，f_i(·，V)和g_i(·，V)分别是作用于第i图和其相邻后一幅图上的变化函数；优化方程中将中心值设为未知量，通过匹配特征点对其进行微调，以获得更优化的结果。优化方程中的V为空间模型的参数空间，它是所有图像的公有参数和私有参数的集合。

由于采用本发明的方法，图像拼合过程自动化程度高，用户只需要输入原始图像，即可自动生成全景图；拼合速度快，在AMD Athlon(tm)XP2800+，1.024G内存的机子上，拼合八张分辨率为3008×2000像素的鼓形图像，生成分辨率为3000×6000像素的全景图像，整个拼合过程不超过3分钟；图像分辨率高。不但提高图像质量，而且节约时间，降低成本。

附图说明

图1为本发明中所用的样本图像；

图2为本发明所建立模型的一个理想结构示意图；

图3为本发明所建立模型的另一个理想结构示意图；

图4为本发明的实现流程示意图。

具体实施方式

下面结合附图对本发明作进一步详细的说明。

图1给出了本发明中涉及的样本图像示例图。其中101是在肖像(Portrait)模式下，运用全帧(full frame)镜头拍摄所得全帧图像，102则是在风景(Landscape)模式下，所得全帧图像。

如图2所示，是本发明所描述二度球面空间模型的一个理想结构，其原理及构造与三度球面空间模型相同，但由于所分析的图像为全帧图像，该种类型的图像信息不能确保其对应的所有相邻球缺面都存在足够的重合区域，因此，在运用该结构图时，有可能只有两个方向所在子球面的四个二级子球面具有相邻的匹配特征点对，此时，该构造图退化为两度球面空间模型。

如图3所示，是本发明所建立模型的另一个理想结构，301、302、303、304、305、306、307、308代表球面在真实坐标系中的八个不同方向，它们与球面的交点分别为A、B、C、D、E、F、G、H。这里A、B、C、D、E、F共面，为球面上纬度为0的位置，同样的，A、G、D、H共面，设定为球面上经度为0的位置。摄影师采用Portrait模式镜头轴向沿301方向开始，水平方向依次旋转60度拍摄六张全帧图像，并沿水平六个方向中的某一个方向(例如图中301方向)垂直向上和向下旋转镜头90度，使镜头轴向位于307方向和308方向拍一张顶和底图像，拍摄时，应保持镜头的中心大致在空间中同一点。运用该拍摄方法得到的图像，其水平方向六个球缺面相邻图像之间存在最佳点对，竖直方向四个球缺面相邻图像之间存在最佳点对。

参见图4，在装入全帧图像后，首先根据输入图像的不同，运用401建立不同的空间结构，当输入图像为四张水平图像加顶低两张图像时(简称4+2)，建立如附图2所示的空间模型；当输入图像为六张水平图像加顶低两张图像时(简称6+2)，建立如附图3所示的空间模型。每幅图像具备3个私有空间定位参数，2个私有中心定位参数和3个公有变换参数。其中3个私有空间定位参数是指旋转(roll)、摇摆(yaw)、俯仰(pitch)，2个私有中心定位参数，是指将样本输入图像的中心坐标(x，y)设为未知变量，这是因为由于系统误差和测试误差的影响，镜头轴向所在光线在图像上的投影可能会偏离中心，从而导致在模型参数求解中的误差累积，影响拼合质量，因此需要将图像中心坐标参数化，以便进行优化，3个公有变换参数是指有效视角(FOV)，镜头非线性变化r＝α□*sin(β*θ□)中α和β□，其中r为感兴趣点到最优包络圆区域圆心的距离，θ为镜头轴向和从镜头中心点到该感兴趣点在实际景物中所对应点连线的夹角，α是一个缩放因子，从而实现实际场景与圆鱼眼或鼓形图像平面上点的一一映射，β为径向映射参数。402对相邻图像进行特征点提取与匹配，以找出最佳点对集。首先对水平方向的图像进行特征点匹配，再对竖直方向的图像进行特征点匹配。匹配出上述特征点对后，再从中甄选出最佳点对集其中，R_i为第i组相邻图像的最佳点对，F_ik为第i组相邻图像中前一副图的第k特征点，B_ik为对应的后一副图的特征点。403建立并求解优化方程，首先建立基于最佳点对集的优化方程，再求解该优化方程，得出模型未知参数值。建立优化方程的原理是，建立关于参数空间的变换方程，运用该方程对最佳点对集进行变换，使得最佳点对集的任意点对变换到空间中的同一个位置。由此，优化方程表达式为：

\min Σ_{i}^{N} Σ_{k}^{k_{i}} | | f_{i} (F_{ik}, V) - g_{i} (B_{ik}, V) | |,

其中，f_i(·，V)和g_i(·，V)分别是作用于第i图和其相邻后一幅图上的变化函数，V为模型的参数空间，它是所有图像的公有参数和私有参数的集合，其参数个数为5*N+3。‖·‖为欧式距离。404基于以上参数值，生成全景图像。

Claims

1.一种基于全帧图像生成球形全景的方法，其特征在于，包括如下步骤：

(1)建立空间模型；

(2)相邻特征点提取与匹配；

(3)建立并求解优化方程；

(4)生成全景图像。

2.根据权利要求书1所述基于全帧图像生成球形全景的方法，其特征在于，其中建立空间模型是指建立两种不同的空间结构，以处理不同的输入样本图像。

3.根据权利要求书2所述基于全帧图像生成球形全景的方法，其特征在于，其中对三度空间模型进行变形，仅保留其两个方向的子球面，生成一种两度空间模型以支持四张水平加顶、低全帧图像生成整球形全景。

4.根据权利要求书2所述基于全帧图像生成球形全景的方法，其特征在于，其中建立一种两度空间模型的新结构以支持六张水平加顶、底全帧图像生成整球形全景。

5.根据权利要求书4所述基于全帧图像生成球形全景的方法，其特征在于，其中六张水平全帧图像所对应的中心矢基本共面，相邻中心矢之间的夹角为60度。

6.根据权利要求书4所述基于全帧图像生成球形全景的方法，其特征在于，其中顶、底图像与水平图像中的某两幅全帧图像的中心矢基本共面，且相邻中心矢之间的夹角为90度。

7.根据权利要求书1所述基于全帧图像生成球形全景的方法，其特征在于，其中建立空间模型还包括对每张全帧图像设定5个私有定位参数和3个公有变换参数；5个私有定位参数包括3个空间定位参数(旋转、摇摆、俯仰)和2个图像中心定位参数(x、y)；3个公有变换参数包括：有效视角(FOV)、镜头非线性变化r＝α*sin(β*θ)中α和β，其中r为感兴趣点到最优包络圆区域圆心的距离，θ为镜头轴向和从镜头中心点到该感兴趣点在实际景物中所对应点连线的夹角，α是一个缩放因子，从而实现实际场景与圆鱼眼或鼓形图像平面上点的一一映射，β为径向映射参数。

8.根据权利要求书1所述基于全帧图像生成球形全景的方法，其特征在于，其中建立优化方程，是指基于相邻图像的最佳点对集建立优化方程：

\min Σ_{i}^{N} Σ_{k}^{k_{i}} | | f_{i} (F_{ik}, V) - g_{i} (B_{ik}, V) | |,

其中，f_i(·，V)和g_i(·，V)分别是作用于

第i图和其相邻后一幅图上的变化函数；优化方程中将中心值设为未知量，通过匹配特征点对其进行微调，以获得更优化的结果。

9.根据权利要求书8所述基于全帧图像生成球形全景的方法，其特征在于，其中优化方程中的V为空间模型的参数空间，它是所有图像的公有参数和私有参数的集合。