CN1272750C - 一种基于两张鱼眼图像的智能型全景生成方法 - Google Patents

Abstract

本发明涉及一种基于两张鱼眼图像的智能型全景生成方法。该方法包括鱼眼图像预处理、建立空间模型、拼合参数寻优、生成全景图像四个部分。由于本发明采用了理论上完备的空间模型，在拼合参数寻优过程中把模型的自由度由8个降为4个，且使用了可以避免陷入局部极小值的穷举搜索算法，因此它能够快速找到模型的最佳拼合参数，具有拼合速度快、拼合精度高、图像质量好的优点。再加上全自动的鱼眼图像预处理过程，整个拼合过程自动化程度非常高，且能用于大批量鱼眼图像的全自动拼合处理。除此之外，本发明还具有所需样本图像少，拍摄方便等特点。

Description

一种基于两张鱼眼图像的智能型全景生成方法

技术领域

本发明涉及一种基于两张鱼眼图像的全景生成方法。通过本方法，用户只需使用带鱼眼镜头的数码相机拍摄两张鱼眼图片作为原始素材，即可以快速生成整球形全景图像。

背景技术

全景技术是近年来发展起来的一种基于图像的绘制技术，这种技术的特点是它的绘制和场景的复杂度无关，并且能够达到照片级的真实感。使用这种技术，用户首先通过照相器材拍摄到某一场景的一组样本图像，然后对样本图像进行拼合得到最终的全景图像。通过交互式全景图像播放器，用户可以实现对该场景进行360度视角的任意虚拟漫游。

根据全景图像数据映射的空间模型不同，可以把全景分为柱模型全景、球模型全景、立方体模型全景。顾名思义，柱模型全景是指在播放时把图像数据映射在以视点位置为中心的柱面上的全景；球模型全景是指在播放时把图像数据映射在以视点为中心的球面上的全景；立方体全景则是在播放时把图像数据映射在以视点为中心的立方体面上的全景。整球形全景是指视角范围达到水平方向360度，竖直方向180度无观察死角的全景图像。可以知道，只有球模型全景和立方体模型全景可以制作整球形全景。通常把柱模型全景称为柱形全景，而把球模型全景和立方体模型全景统称为球形全景。

目前全景图像的制作方法较多，比如柱形全景的制作，用户在同一位置不同角度拍摄多张水平方向有大量重叠的图像，通过拼合软件合成全景图像，其拍摄过程复杂，拼合难度高，效果差。也有的全景图像制作是基于两张可视范围为183度的鱼眼图像的，拼合时通过人为的反复设定拼合界线和各种拼合参数，其自动化程度不高，拼合效率低下，且由于人为因素的过多参与，生成全景图像质量没有保证。还有的拼合工具通过在不同的图像上景物重叠部分选取控制点，但一般都极难使用。

关于两鱼眼图像拼合现有的专利内容可参见美国专利US.PatentJune26，20016252603和December25，2001 6333826。

整体来说，目前的全景图像生成方法存在着原始图像拍摄复杂、拼合过程自动化程度低、耗时长等缺点。

发明内容

本发明要解决的技术问题是提供一种基于两张鱼眼图像的智能型全景生成方法，它只需拍摄两张鱼眼图像作为原始素材，就能够快速拼合生成高质量全景图像。

为解决上述技术问题，本发明所述的一种基于两张鱼眼图像的智能型全景生成方法，包括下述几个步骤：a.进行鱼眼图像预处理、b.建立空间模型、c.拼合参数寻优、d.生成全景图像；其中图像预处理是根据鱼眼图像在边界圆处亮度变化计算鱼眼图像有效圆区域；建立空间模型是根据有效圆区域与实际场景之间的映射关系建立两个鱼眼图像拼合的空间模型，包括鱼眼镜头的有效视角、旋转、摇摆、俯仰四个自由度，是一个理论上完备的模型；拼合参数寻优采用穷举方法对两个大球缺模型中的景物重叠部分进行匹配搜索，得到两个鱼眼图像之间的最佳拼合参数，分别针对模型的四个自由度进行穷举式优化探测，理论上能够搜索到最优的拼合参数；生成全景图像是根据两个鱼眼图像之间的最佳拼合参数，拼合生成全景图像，它采用了拼缝处图像平滑过渡技术，能够输出生成无缝的球模型、柱模型、立方体模型等多种全景图像格式全景。

由于本发明采用了理论上完备的空间模型，在拼合参数寻优过程中把模型的自由度由8个降为4个，且使用了可以避免陷入局部极小值的穷举搜索算法，因此它能够快速找到模型的最佳拼合参数，具有拼合速度快、拼合精度高、图像质量好的优点。再加上全自动的鱼眼图像预处理过程，整个拼合过程自动化程度非常高，且能用于大批量鱼眼图像的全自动拼合处理。除此之外，本发明还具有所需样本图像少，拍摄方便等特点。

附图说明

下面结合附图与具体实施方式对本发明作进一步详细的说明：

图1是鱼眼图像的拍摄示意图；

图2是原始鱼眼图像示意图；

图3是相机与大球缺模型的旋转、摇摆、俯仰自由度示意图；

图4是由图2所示两个鱼眼图像拼合所得的全景图像；

图5是本发明实施例中所述的拼合程序主界面；

图6是本发明全景图像生成方法流程图。

具体实施方式

本发明所述的一种基于两张鱼眼图像的智能型全景生成方法，首先要拍摄两张鱼眼图像，其拍摄装置和拍摄方法参见图1。所述两张鱼眼图像为在同一节点采用背靠背方式拍摄，其中101是安装了鱼眼镜头的数码相机，102是专用全景拍摄云台，103是支撑相机的三角架，104是节点。拍摄时先固定好三角架103，装上云台102(为了保证拍摄的精度最好使用专用的全景云台)，调节云台102水平，把装有鱼眼镜头的数码相机101固定在云台102上。注意所用鱼眼镜头的有效视角必须大于180度，这样两张鱼眼图片所拍摄的景物将会有部分重叠，以便于拼合算法的自动化拼合位置搜索和无缝拼合。拍摄完第一张鱼眼图像后，转动相机180度，拍摄第二张鱼眼图像，旋转相机180度后节点位置不变，从而保证了拍摄时错位现象不会发生。然后将鱼眼图像装入计算机中自动生成全景图像，实现流程如图6所示。首先执行601对鱼眼图像进行预处理，然后执行602建立空间模型，其次执行603进行四自由度拼合参数寻优，最后执行604生成全景图像。具体过程如下所述：

鱼眼图像预处理601：

外接鱼眼镜头拍摄的图像一般有满帧鱼眼图像和圆鱼眼图像之分，本发明所述专指圆鱼眼图像，参见图2。其中圆鱼眼图像的有效数据都在圆曲线201以内，201为该鱼眼图像的边界圆，201以内区域称为有效圆区域202。由图2可知，边界圆201以外区域的颜色为黑色，亮度接近0，而边界圆201内区域的图像亮度值一般都远大于0，其中以在边界圆201附近的颜色亮度值变化最为剧烈。通过检测鱼眼图像中亮度值变化剧烈的点构造一个可能的鱼眼图像边界圆上的点的集合，利用最小二乘原理对该集合内的点作圆曲线拟合，可以对鱼眼图像的边界圆201进行定位，从而实现鱼眼图像边界圆201的自动搜索。过程如下：

1.选定一阀值，分别从图像的上、下、左、右按行、列向图像的中心检测图像相邻两点的亮度变化，如该行或该列上的相邻两个像素值的亮度差绝对值大于该阀值，则把该点坐标放入亮度突跳点集合中，该行/列探测结束，否则到该行/列中点位置时该行/列探测自动结束，直到探测完所有的行列；

2.通过最小二乘方法对所探测到的点的集合进行最小二乘圆曲线拟合，得到圆的中心点和圆半径；

3.如果集中点的数目大于200则从该集合中删去误差最大的2％的点，转移到前面所述的步骤2执行，否则转移到下面所述的步骤4执行；

4.以当前点集进行最小二乘圆曲线拟合。拟合出来的圆的圆心和半径即为该鱼眼图像边界圆201的圆心和半径；此圆心和半径同时也为有效圆202区域的圆心和半径。

图2中的边界圆201就是通过使用本发明自动搜索获得。

建立空间模型602：

有效圆区域与实际场景之间的映射关系是以该圆区域圆心为中心的径向映射，它的通用表达式为：

                r＝α*sin(βθ)

其中r为感兴趣点到鱼眼有效圆202区域圆心的距离，θ为鱼眼镜头中心轴和从鱼眼镜头中心点到该感兴趣点在实际景物中所对应点连线的夹角，α是一个缩放因子，从而实现实际场景与有效圆区域之间点的一一映射，β为径向映射参数(应该指出的是β对α的影响非常大)。当β＝0时，该公式即为理想的鱼眼镜头映射公式r＝αθ。通过把有效圆202区域内的图像数据向视点空间中的球面上映射，得到与原场景对应的两个球缺空间模型。由鱼眼镜头的有效视角大于180度及它们是在同一个视点位置拍摄可知两个球缺所对应的景物将有部分重叠。考虑到相机架设位置固定的情况下，相机仍具有旋转、摇摆、俯仰三个自由度，加上鱼眼镜头的有效视角不可知，本发明建立的球缺模型具有效视角、旋转、摇摆、俯仰四个自由度，两个球缺模型所组成的系统共有八个自由度，参见图3。其中301是大球缺模型的旋转自由度方向，302是大球缺模型的俯仰自由度方向，303是大球缺模型的摇摆自由度方向。由于通常两个鱼眼图像都是用同一个鱼眼外接镜头拍摄的，因此它们的有效视角可以用同一个参数表示，考虑到两个球缺模型之间的对称关系，旋转、摇摆、俯仰也可以分别只用一个参数表示。假设第一个大球缺的四个参数分别为fov1、roll1、pitch1、yaw1，第二个大球缺的四个参数分别为fov2、roll2、pitch2、yaw2，它们之间有如下对应关系：fov1＝fov2、roll1＝roll2、pitch1＝pitch2、yaw1＝yaw2。令fov＝fov1＝fov2、roll＝roll1＝roll2、pitch＝pitch1＝pitch2、yaw＝yaw1＝yaw2，则两个球缺模型之间的相对位置可以用fov、roll、pitch、yaw四个参数表示，这样两个球缺模型所组成系统的自由度数由8个降为4个，从而大大降低了拼合参数优化时的运算量。

拼合参数寻优603：

通过对两个球缺模型之间景物重叠部分进行匹配搜索，可以得到它们之间的最佳拼合参数。为了避免寻优时陷入局部极小值，使用穷举搜索对拼合参数进行优化：分别使这四个参数以固定的步长变化，计算两球缺之间景物的匹配误差，对各个不同参数位置时的匹配误差进行组合式搜索，误差值最小时的拼合参数作为最优拼合参数。在实际使用过程中还会设定每一个自由度的变化范围，以减少搜索时的计算量。

生成全景图像604：

经过四自由度的拼合参数寻优，得到两个大球缺模型的最佳拼合参数，同时也把它们转换到统一的坐标系中。把两个大球缺模型求并集，从而得到包含整个场景图像数据的整球模型。根据所需生成全景类型不同，可以分别得到柱模型全景、球模型全景、立方体全景等多种格式的全景图像。考虑到拼缝位置景物的平滑过渡，对拼缝位置的图像生成采用渐变策略，即在拼缝位置由前一幅图像慢慢过渡到第二幅图像。设渐变因子为d(0＜d＜1)，对应的前后两幅图像重叠部分像素值分别为color1、color2，结果为color，则color＝d*color1+(1-d)*color2；其中d由1慢慢变化到0，它与图像之间水平方向重叠距离相关。

图4为拼合生成的全景图像，图像尺寸为1400*700。整个拼合过程除原始图像需要手工指定外其他部分均自动完成，在PIII800MHz机器上耗时少于一分钟，生成全景质量高，拼合位置准确，缝线区域图像过渡自然。图5是根据本发明所述的方法实现了一个图形化的拼合界面。和其它全景图像生成方法相比，本发明具有所需图像样本少、拼合时智能化程度高、拼合速度快、拼合位置准确、生成全景图像质量高等一系列优点。

Claims (4)

1、一种基于两张鱼眼图像的智能型全景生成方法，其特征在于：包括以下四个步骤：步骤一、进行鱼眼图像预处理，通过检测鱼眼图像中亮度变化剧烈的点构造一个鱼眼图像边界圆的点的集合，通过最小二乘法对该集合内的点作圆曲线拟合，拟合出来的圆的圆心和半径作为鱼眼图像边界圆和有效圆区域的圆心和半径；

步骤二、建立空间模型，根据有效圆区域与实际场景之间的映射关系建立两个鱼眼图像拼合的空间模型；

步骤三、拼合参数优化，采用穷举方法对空间模型中的两张鱼眼图像对应景物重叠部分进行匹配搜索，得到两个鱼眼图像之间的最佳拼合参数；

步骤四、生成全景图像，根据两个鱼眼图像之间的最佳拼合参数，拼合生成全景图像。

2、如权利要求1所述的基于两张鱼眼图像的智能型全景生成方法，其特征在于：所述的进行鱼眼图像预处理，计算鱼眼图像边界圆的步骤是：

步骤1、通过检测鱼眼图像中亮度变化剧烈的点构造一个可能的鱼眼图像边界圆上的点的集合；

步骤2、通过最小二乘原理对该集合内的点作圆曲线拟合；

步骤3、如果该圆曲线误差较大则删除点集合中误差最大的部分点，然后转移到步骤2继续执行；

步骤4、拟合出来的圆的圆心和半径即为该鱼眼图像边界圆的圆心和半径；同时也为有效圆区域的圆心和半径。

3、如权利要求1所述的基于两张鱼眼图像的智能型全景生成方法，其特征在于：所述有效圆区域与实际场景之间的映射关系表达式为：r＝α*sin(βθ)，其中r为感兴趣点到鱼眼有效圆区域圆心的距离，θ为鱼眼镜头中心轴和从鱼眼镜头中心点到该感兴趣点在实际景物中所对应点连线的夹角，α是一个缩放因子，从而实现实际场景与有效圆区域之间点的一一映射，β为径向映射参数；当β＝0时，该公式即为理想的鱼眼镜头映射公式r＝αθ。

4、如权利要求1所述的基于两张鱼眼图像的智能型全景生成方法，其特征在于：所述空间模型是指由两个空间大球缺模型组成的系统，具有视角、旋转、摇摆、俯仰四个参数。

Images