CN1707354A - 基于圆鱼眼或鼓形图像快速生成高清晰度全景的智能化方法 - Google Patents

Abstract

本发明公开了一种基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法。构造了原始拍摄图像(圆鱼眼或鼓形图像)与真实世界所对应球面的函数对应关系，通过特征点提取、匹配算法，得到相邻球缺面的最优匹配特征点对，设定相同的镜头所得图像所对应的球缺面具有相同的有效视角(fov)和非线性畸变关系，每张图像具有旋转(roll)、摇摆(yaw)、俯仰(pitch)三个参数，基于上述特征点对，得到关于所有图像参数的优化方程，然后通过求解该优化方程确定图像参数，得到每幅图像在同一个球平面上的展开图，并进行混色得到全景图像。本发明简单易用，可以快速拼合生成高质量全景图像，并且从导入原始图像到生成全景图像的整个过程自动完成，不需要人工干预。

Description

基于圆鱼眼或鼓形图像快速生成高清晰度全景的智能化方法

技术领域

本发明涉及一种基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，用户只需使用带鱼眼镜头的数码相机拍摄两张以上圆鱼眼图片，或者单反相机配sigma镜头拍摄四张和四张以上鼓形图片作为原始素材，即可以快速地、完全自动化地生成高质量球形全景图像。

背景技术

最近几年，全景技术在全世界逐步普及，特别是在美欧日等发达国家和地区，全景技术在包括房地产，旅游，多媒体，军事、web服务，电影特技制作，安全监视等行业得到了广泛应用。目前全景图像制作的自动生成方法中，运用最广泛的是双圆鱼眼或三圆鱼眼自动拼合。其优点是图片需求量小，模型相对简单，制作方便。在双圆鱼眼拼合和三圆鱼眼拼合算法方面技术领先的公司有EASYPANO Crop，IPIX Crop等。随着全景的普及和人们对全景清晰度的要求越来越高，一些镜头制造商推出了成本相对较低，而ccd(电荷耦合器件)利用率高的新型镜头，如sigma镜头和fullframe镜头等。前者生成鼓形图像，对于一个分辨率为2048*3072的ccd来说，其ccd的利用率(ccd成像面面积与ccd总面积之比)最高可达92％，后者生成全帧图像，其ccd的利用率为100％，而鱼眼镜头生成的圆鱼眼图片，其ccd利用率最高为52％(参见图1)。此外，鱼眼镜头的fov为183度左右，而sigma镜头的竖直fov和水平fov分别为180度和120度左右，fullframe镜头则为150度和100度左右。以上表明ccd利用率越低的镜头其成像面反而包含越多的场景，这导致对于相同大小一片场景而言，其占有的ccd单元数越少。因此fullframe镜头的清晰度性能要优于sigma镜头，而后者又要优于鱼眼镜头。传统的双圆鱼眼图像和三圆鱼眼图像自动拼合算法已经不能适应于sigma镜头和fullframe镜头，也不能解决三张以上圆鱼眼图像的拼合问题。就现有技术而言，德国Helmut Dersch教授的基于GPL的Open source软件pttools可以较好地解决sigma镜头和fullframe镜头拍摄图像的全景生成问题。但由于该软件需要手工选择输入相邻图像特征点，并且缺少界面的友好交互，因此整个制作过程相当繁琐费时，同时其全景的生成效果与效率严重依赖于制作人员的经验与熟练程度。

发明内容

本发明要解决的技术问题是提供一种基于圆鱼眼或鼓形图像自动、快速生成高清晰度全景的智能化方法，它简单易用，可以自动、快速拼合生成高质量全景图像，既能够解决3张及3张以上圆鱼眼图像的全景生成问题，又能够解决4张及4张以上鼓形图像的全景生成问题，并且从导入原始图像到生成全景图像的整个过程自动完成，不需要人工干预。

为解决上述技术问题，本发明的基于圆鱼眼或鼓形图像快速生成高清晰度全景的智能化方法，包括如下步骤：

首先，根据圆鱼眼或鼓形图像在边界处亮度变化关系计算它们的最优包络圆区域；

将上述最优包络圆区域投影变换到一个特定球缺面；

然后，运用特征点提取算法，对上述球缺面进行特征点提取，并运用特征点匹配算法，计算出相邻球缺面的最优匹配特征点对；

建立完备空间模型，基于上述最优匹配特征点对运用迭代算法计算出模型参数；

最后，基于上述模型及其参数，拼合生成全景图像。

本发明与现有技术相比的有益效果是：

本发明的拼合算法不受拍摄图像数目限制，用户拍摄图像时只要满足一定拍摄要求，即可运用本发明进行拼合，而现在的鱼眼图像自动拼合算法只能解决两张和三张圆鱼眼图像的自动拼合问题。

本发明可以同时解决圆鱼眼图像和鼓形图像的自动拼合问题，具有很强普适性。

本发明拼合过程自动化程度高，用户只需要输入原始图像，即可自动生成全景图。

本发明对图像拍摄的要求有所降低，拍摄图像时，只需要相邻图像有一定的重合区域即可，相邻镜头轴向之间的角度不需要相等，因此对全景云台的要求也有所降低。

本发明拼合速度快，在AMD Athlon(tm)XP 2800+，1.024G内存的机子上，拼合6张分辨率为3072×2048鼓形图像为全景图像，整个拼合过程不超过2分钟。

本发明可以生成高清晰度全景图像。以fov为183度的鱼眼镜头所得两张圆鱼眼图像拼合与本发明中四张鼓形图像拼合作比较，其数码相机ccd分辨率都为3072×2048.则对于生成分辨率为3000×6000全景生成图来说，前者的效果明显不如后者，这是因为前者生成的全景图中大约1/2的区域即3000×3000个像素点是从约50％×3072×2048个像素点插值算出，而后者约1/3的区域即3000×2000是从约90％×3072×2048个像素点插值算出。由此可见，后者的清晰效果要明显高于前者。此外，由于镜头对于光线的非线性扭曲影响，越靠近中心的部分，畸变越小，本发明可以拼合任意多张图像的特性，无疑对全景图像的拼合效果产生积极影响。

用户只需要在拍摄时，借助拍摄云台，保证在不同的拍摄方向镜头的轴向所在直线基本处于同一个平面，镜头的中心基本在同一点，同时所拍摄的相邻图像有一定的重合区域，即可以应用该方法快速生成高清晰度的全景图像。

附图说明

图1中的(a)为鱼眼镜头所得圆鱼眼图像，(b)为sigma镜头所得鼓形图像、(c)为fullframe镜头所得全帧图像，其中，101表示ccd未利用部分，102表示ccd利用部分，即成像部分；

图2为圆鱼眼或鼓形图像的拍摄方法，其中，201是安装了鱼眼镜头或sigma镜头的数码相机，202是专用全景拍摄云台，203是支撑相机的三脚架，204是镜头的中心，205是镜头的轴向；

图3为相机与球缺模型的旋转、摇摆、俯仰自由度示意图，其中，301标识的是球缺模型的旋转(Roll)自由度方向、302标识的是球缺模型的俯仰(Pitch)自由度方向、303标识的是球缺模型的摇摆(Yaw)自由度方向；

图4为运用本发明中最优包络圆搜索方法，分别对圆鱼眼图像和鼓形图像进行计算所得结果图，其中，401表示边界圆，402表示最优包络圆区域，它是本发明对原图像的分析处理部分；

图5中5a为理想的鱼眼镜头等距模型图，5b为5a中的球缺面子图，5c为5a中的成像面子图，其中，501表示ccd所在平面，502表示成像面，503表示镜头轴向，504表示镜头中心，505表示成像面502的中心，它是503所在直线与502的交点，506表示以504为中心的球缺面，Q点为光线l₁与506的交点，P点为503所在光线与506的交点；

图6为本发明全景图像生成流程图。

具体实施方式

下面结合附图对本发明作进一步详细的说明。

在具体阐述本发明的基于圆鱼眼或鼓形图像快速生成高清晰度全景的智能化方法之前，先对拍摄的具体要求进行说明。对大多数全景摄影来说，需要四种硬件设备：鱼眼镜头(sigma镜头或full frame镜头)，数码相机，专用全景拍摄云台，支撑相机的三脚架，它们之间的架构关系如图2所示。本发明所述的方法需要满足的拍摄条件主要有三点：

1、在不同的拍摄时刻，镜头的中心基本在同一点。

2、在不同的拍摄时刻，镜头的轴向所在直线近似于同一个平面上，俯仰和旋转的值较小(参见图3)。

3、拍摄所得相邻图像之间有一定的重合区域，且每幅图像与两幅图像前后相邻。上述重合区域，保证了其对应的相邻球缺面相互之间具有一定的重合区域。

以上三点拍摄条件，在专用全景拍摄云台的协助下，很容易做到。

本发明所述的基于圆鱼眼或鼓形图像的全景图像生成方法，主要由图像预处理，原始图像到球面坐标变换，相邻图像特征点提取与匹配，建立完备空间模型、确定模型参数，生成全景图像五个部分组成。其中，图像预处理部分，根据图像所在四个角的亮度变化自动检测其最优包络圆区域。原始图像到球面坐标变换部分，通过给定一个假设条件，推导出原始图像到球面坐标的变换方程，并运用该方程将最优包络圆区域内的点投影到对应的球缺面上。相邻图像特征点提取与匹配部分，首先运用特征点提取算法对球缺面进行特征点提取，再对这些特征点进行初步匹配，然后运用球缺面特性，计算出最优匹配特征点对集合。建立空间模型，首先假设将整个世界空间首先投影到一个球面上，视每一张原始图像为镜头轴向处于三维空间不同位置时该球面上的点通过镜头折射后在ccd上的投影，每一张原始图像包括有效视角，旋转、摇摆、俯仰、镜头非线性畸变缩放因子和径向映射六个自由度，是一个理论上完备的模型，其中相同的镜头其有效视角、缩放因子和径向映射相同，确定该模型参数的思路是基于最优匹配特征点对集合，建立关于所有未知参数的优化方程，得出最优的拼合参数。生成全景图像部分，首先将每张原始图像的最优包络圆区域投影到同一个球面上，再采用拼缝处图像平滑过渡技术，对重合部分进行缝补，生成球模型全景。下面将对上述五个部分分别进行详细描述。

图像预处理

外接鱼眼镜头和sigma镜头拍摄的图像分别为圆鱼眼图像(CircularFisheye Image)和鼓形图像(Drum Fisheye Image)(结合图4)。其中，图像的成像区域都在圆曲线以内，圆曲线为该鼓形图像和圆鱼眼图像的边界圆401，圆曲线以内区域称为最优包络圆区域。由图可知，边界圆以外区域的颜色为黑色，亮度接近0，而边界圆内区域的图像亮度值一般都远大于0。其中，以在边界圆附近的颜色亮度值变化最为剧烈。通过检测图像中亮度值变化较为剧烈的点的集合，利用最小二乘原理对其进行圆曲线拟合，可以对鱼眼图像的边界圆进行定位，从而实现鱼眼图像边界圆的自动搜索。本发明中，对于相同镜头所得图片，其最优包络圆设定相同的半径，这是由于在拍摄全景图片时，由于相机的焦距被锁定，成像面的最大直径由镜头的fov等固有特性决定的，因此，同一镜头所得图片，其最优包络圆理论上应该具有相同的直径。

原始图像到球面坐标变换

为了推导出原始图像的最优包络圆区域到球缺面坐标的变换方程，首先，对鱼眼镜头的等距模型进行分析，图5为理想的等距模型示意图。光线l₁通过鱼眼镜头中心504，折射后投影到ccd所在平面501上A点，l₂投影到ccd所在平面501上B点。显然A点和B点分别是整个空间中光线l₁和光线l₂与ccd所在平面501的交点，则成像面502上每一点对应于真实世界中的每一条入射光线。以镜头中心504为球心做一个球面S和所有的这些光线相交得球缺面506，可认为成像面502为球缺面506上的所有光点经过镜头折射后在ccd所在平面501上的投影。其中，球面中心P在ccd所在平面501上的投影是成像面502的中心505。设该球面满足以下条件：

i)球缺面506与过球心(镜头中心)504的平面相交所得曲线长度的最大值D_max等于成像面502的圆半径R_C的两倍。

由球面公式可知         D_max＝R_S·φ_max        (1)

这里R_S为球缺面506的球半径，φ_max为最大张角，为了叙述方便，记φ_max为最大视角，它对应于的球缺面506上任意两条入射光线夹角的最大值。

由条件i)可知：         R_S·φ_max＝2R_C          (2)

又由鱼眼镜头头模型原理知：对于任意入射光线l，如果它与镜头轴向503的夹角θ相等，那么它与ccd所在平面501的交点A到成像面502的中心505的距离

相等，且 $\stackrel{\‾}{\mathrm{QA}}=\mathrm{c\θ}---\left(3\right)$

其中，c为常数。式(3)表明成像面502为圆面，且沿着径向是线性的。

由此可以得出以下重要结论1：对于球缺面506上任意一点Q，它在鱼眼图片上的投影A到成像面502的中心505的长度d等于Q点和P点在球面上的最小路径

此外，由式(1)、(2)、(3)及其说明可知，

                 c＝2R_C/φ_max＝R_S        (4)

这说明上述的球面S是一个以镜头中心504点为中心，c为半径的球面。

基于结论1，可以推出结论2：

球半径为c的球缺面506上任意点(，θ)到成像面502上一点极坐标(ρ，α)之间的对应关系如下：

(5)

对式(5)进一步分析可知，当c为任意大于0的常数时，式(5)建立了任意半径大小的球缺面与最优包络圆区域的映射关系。

运用式(5)可以将整个最优包络圆区域映射到半径为c的球面上，也可以将最优包络圆区域的局部区域或者离散点集映射到半径为c的球面上，同时，也可以运用(5)式的逆关系将半径为c的球面，或球面局部区域或球面上的离散点集映射到二维平面。

相邻图像特征点提取与匹配

现有图像特征点提取算法中比较成熟的有Harris角检测算法等，运用它们可以较好地提取图像中的特征点，然后基于特征点的特征向量或特征点之间的相关性粗略匹配出相邻匹配特征点对集合M，它表征了两幅图中特征基于某种度量最相似的点的集合。由本发明所要求的拍摄3项条件知相邻球缺面所对应的镜头轴向基本上共面，即图5中的镜头轴向503所在直线在同一个平面上，且相交于同一点。

由此得出结论3：如果某一特征点对M＝((X₁，Y₁)，(X₂，Y₂))是空间中的同一点，则其对应球坐标(，θ)中，基本相等，即有：X₁≈X₂，θ值之差与它们所对应中心矢之间的夹角成正比，即：Y₁-Y₂≈k(yaw1-yaw2)+b。

运用结论3，理论上可以从M中得出最优匹配特征点对集合R，它们表征了相邻图像的特征点在真实空间中是相同的点。考虑到对于每一幅图像，其摇摆、俯仰未知，不同的图像其摇摆、俯仰不同，并且本发明对摇摆的要求不严格，即每两幅图之间对应的摇摆差值可能不相同。但由于两幅图重合区域中的点具有相同的位置差异性，因此可以考虑从M中随机选择一特征点对，计算两点之间的位置差，再将所有特征点对基于该位置差进行差异性比较，记录所有满足条件的特征点对，得集合R′。经过多次随机选择后，特征点数目最多的R′即为最优匹配特征点对集合R。

具体实现步骤如下：

(a)计算特征点对集合M的位置差 $\stackrel{\‾}{\mathrm{\Δ}}=\underset{i=1}{\overset{I}{Y}}{\mathrm{\Δ}}_i$ 对于任意特征点对M_i＝((X_1i，Y_1i)，(X_2i，Y_2i))，1≤i≤I，I为集合M的特征点对总数，其位置差为：Δ_i＝(ΔX_i，ΔY_i)＝(X_1i-X_2i，Y_1i-Y_2i)；

(b)置循环变量i初值为0，其最大循环次数值为N，N大于0，小于特征点对的总数，设定距离阀值e，它用来判断两个特征点的差异性是否一致，设定最优匹配特征点对集合R＝Φ；

(c)从M中任意选取第j特征点对，计算与M相对应的 Δ与Δ_j的距离 d，记 d＜e时所对应的特征点对集合为R′，即R′＝{M_k|‖ Δ_k-Δ_j‖＜e，1≤k≤I}；

(d)若R′的特征点对总数大于R的特征点对总数，则置R＝R′；

(e)置i＝i+1，若i＞N，则退出循环，此时R即为所求的最优匹配特征点对集合，否则，返回步骤(c)。

本发明运用上述相邻图像特征点提取与匹配算法，直接对圆鱼眼或鼓形图像相对应的球缺面进行特征点提取并进行匹配，可以非常准确地找到相邻图像的最优匹配特征点对。

本发明中球缺面相互之间的位置衔接关系可以通过拍摄次序得知或者可以为人眼所识别，这种相互关系被预先写入程序或者可以在匹配时输入。

上述相邻图像特征点提取与匹配算法，包括但是不限于对相邻图像所对应的球缺面的局部，或者从局部最优包络圆区域运用式(5)变化所得球缺面进行特征点提取与匹配。

建立完备空间模型、确定模型参数

由以上所述可知，在理想等距模型前提下，图5中球缺面506是以镜头中心504为球心，半径为c的球面S的一部分。任意一张原始图像，用式(5)将其最优包络圆区域投影到S上，这表明所有原始图像对应的镜头轴向503在这种转化过程中都转移至球缺面506的同一个位置，并且这种变换保证了所有的球缺面在同一个球面上。由拍摄要求知，拍摄的不同时刻，镜头的中心在同一点，因此只要将拍摄图像按照拍摄时刻排序，以某一张图像所对应的球缺面作为基准，将剩余图像所对应的球缺面按照原始图像拍摄时相同的操作进行定位，即可用这些球缺面组合成整个空间。将这种定位过程中所有的未知量进行参数化，则组成了整个模型的参数空间。图3显示了每张鱼眼图片的3种旋转参数，有效视角不仅取决于镜头的固有特性，更依赖于最优包络圆的选择，本发明中，有效视角相对于最优包络圆半径，最优包络圆中某条直径的两个端点所对应的入射光线的夹角即为有效视角，因此它也需要被参数化。此外，由于实际镜头并不满足理想的等距模型，存在非线性扭曲现象，可以用下式近似这种非线性关系：r＝α*sin(βθ)，其中r为感兴趣点到最优包络圆区域圆心的距离，θ为镜头轴向和从镜头中心点到该感兴趣点在实际景物中所对应点连线的夹角，α是一个缩放因子，从而实现实际场景与圆鱼眼或鼓形图像平面上点的一一映射，β为径向映射参数。考虑到镜头的物理特性，即相同的镜头，拍摄时，其焦距被锁定，因此是定值，且它们对光线的折射特性是一致的，则对于相同的镜头设定相同的fov、α和β值。因此，模型参数空间V的参数总数为3×(N+1)到5×N中的一个整数。本发明建立的完备空间模型的主要特点是N个样本图像所对应球缺面，其重合区域部分通过放缩(fov变化)，旋转，摇摆、俯仰、非线性变化(调整α和β)五种变化后在空间中的位置一致。

由于最优匹配特征点对集合R表征的是它们分别经过上述五种变化后在原始空间中是相同点，其距离误差平方和E理论上应该等于0。基于此原理，模型参数的确定过程就是调整未知参数，使E趋近0的过程，即调整模型参数V使得最优匹配特征点对集合 $\underset{i=1}{\overset{N}{Y}}{R}_i=\underset{i}{\overset{N}{Y}}\underset{k=1}{\overset{K_i}{Y}}(F_{\mathrm{ik}},B_{\mathrm{ik}})$ 经过参数V变换之后距离差的和E达到最小。其中R_i为第i张圆鱼眼或鼓形图像及其后一张相邻图像的最优匹配特征点对，F_ik为前一副图的第k特征点，B_ik为对应的后一副图的特征点，N为圆鱼眼或鼓形图像的总张数，K_i为R_i的元素个数。该模型参数的确定过程即 $\min \underset{i}{\overset{N}{\mathrm{\Σ}}}\underset{k}{\overset{k_i}{\mathrm{\Σ}}}\left|\right|f_i(F_{\mathrm{ik}},V)-g_i(B_{\mathrm{ik}},V)\left|\right|$ 的优化问题，它实质上是一个非线性最小二乘问题。其中，f_i(·，V)和g_i(·，V)分别是作用于第i图和其相邻后一幅图上的变化函数。

本发明中运用Levenberg-Marquardt算法优化上述非线性最小二乘问题。迭代参数初值选取的分析如下：由拍摄条件知，在全景专用云台的协助下，每张图像所对应的旋转、俯仰都较小，可以将它们的初值都设定为0或者接近于0的一个小数。此外，可以假设其中的某一幅图为基准图，其对应的摇摆初值为0。由前面所述结论3中Y₁-Y₂≈k(yaw1-yaw2)+b，相邻图像之间的摇摆差值可以通过特征点对计算，因此，摇摆初值的设定步骤如下：

(1)由最优匹配特征点对集合R，计算出每两幅相邻图之间yaw的差值 $\mathrm{\Δ}{\mathrm{yaw}}_j=(\left(\underset{i=1}{\overset{I}{\mathrm{\Σ}}}(Y_{\mathrm{ji}}-Y_{j+1,i})\right)/I-b)/k,$ 其中：j＝1，Λ，N，Y_ji为对应于基准图的第j幅图第i个特征点，当j＜N时，Y_j+1，i为相应的第j+1幅图第i个特征点，当j＝N时，Y_j+1，i为相应的基准图的第i个特征点。

(2)基准图后的第k幅图yaw初值为

在迭代过程中，本发明考虑到特征点提取匹配算法在特征点提取和匹配上存在的误差，导致最优匹配特征点对集合R中可能存在特征点对，通过其相应的理论上真实的变化函数f(·，V)和g(·，V)作用后，在空间中的位置存在较大的误差。因此，本发明通过在迭代过程中引入一个阀值σ，检查所有匹配特征点对变化后的误差量，将误差量大于σ时对应的特征点对从R中删除，继续迭代过程直到最优。通过该方法可以较好地过滤误差较大的匹配特征点。

生成全景图像

一旦模型参数确定，便可以将每张圆鱼眼或鼓形图像的最优包络圆区域进行变换，将其投影到同一个球面的相应位置，然后对重合区域进行混色，生成全景图像。将单幅图像变换投影到球面的步骤为：

(1)对于任意的圆鱼眼或鼓形图像，基于模型参数中的相对应的旋转、摇摆、俯仰三个参数计算其旋转矩阵M；

(2)用旋转矩阵M的逆矩阵左乘球面S，即将球面S旋转至该圆鱼眼或鼓形图像的球缺投影面所对应的位置；

(3)将上述球面S再绕x轴旋转

(4)比较该球面S的z坐标值与cos(fov/2)的大小，保留z＞cos(fov/2)的球面，该球面即为该圆鱼眼或鼓形图像的最优包络圆区域的展开球面。

对所有原始图像重复以上步骤，将它们投影定位在球面上，对于重合的区域进行混色，使其亮度和色彩过渡平稳即可得到全景图像。

以上生成全景图像过程，包括对每幅圆鱼眼或鼓形图像的最优包络圆区域重复以上所有或部分步骤，以得到每幅圆鱼眼或鼓形图像的最优包络圆区域在同一个球平面上的展开图，并进行拼合。

本发明所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其实现流程图如图6所示，为了更好地阐述本发明的实现方法和要点，下面结合一个具体实施例进行说明如下：

以4张鼓形图像拼合为例。首先运用拍摄器材获取鼓形图像，拍摄前先固定好三角架，装上云台(为了保证拍摄精度最好使用专用的全景云台)，调节云台平面至水平位置，把装有sigma镜头的数码相机固定在云台上。拍摄时，注意不要移动三脚架。拍完一个方向的图像后，将云台转动一定的角度，使镜头的轴向面对另一个方向，拍摄下一张，此时要注意转动的角度必须小于镜头的水平fov，以满足相邻的图像之间有一定的重合区域，重复上述方式进行拍摄使得所有图像的总和包含水平360度空间信息即可。例如水平fov为120度的sigma镜头，拍摄4张鼓形图像即可满足上述条件。鼓形图像的特点见图1中(b)图和图4中(b)图，其图像尺寸为3072*2048。它的特点是成像区域以ccd底片中心为圆心，以最长边为直径的圆与ccd底片的交集，从而使成像区域看起来像鼓形。将上述4幅鼓形图像输入程序中，运用图像预处理步骤601搜索图像的最优包络圆。原始图像到球面坐标转换步骤602通过公式(5)将上述4幅鼓形图像的最优包络圆区域投影到一个球缺面上，其中，在本实施例中取c＝2R_C/π。显然，上述转换所得四个球缺面的球心到球缺面中心所得方向矢量在三维空间中相同。而其原始图像所对应的镜头轴向则在同一个水平面，彼此有一定的夹角，在建立完备空间模型、确定模型参数步骤604中，选取迭代算法的变量摇摆初值时就要考虑这种角度差异值。有两种方法可以获得上述差异值，方法一是，记录拍摄时云台旋转的角度，一般的云台都有这种功能，拼合时将上述记录值输入程序，或者拍摄时，旋转相同的角度，则Δyaw_j＝2π/N，N为样本图像的总数目。方法二是，通过相邻图像特征点提取与匹配步骤603中的特征点获取。相邻图像特征点提取与相邻图像特征点提取与匹配步骤603运用特征点提取算法提取上述球缺面的特征点，这些特征点的位置信息和特征向量被记录下来。基于特征向量可以初步匹配相邻球缺面的特征点，其匹配特征点对只是表明了相邻球缺面中特征向量以欧式距离度量是最近的。因此还需要用特征点的位置信息和拍摄时的固有特性对上述匹配特征点对进行甄选。在本实施例中，设定距离阀值e＝5，可以相对准确地求出最优匹配特征点对集合R。此外，考虑到建立完备空间模型、确定模型参数步骤604中计算摇摆初值要运用R，并且建立完备空间模型、确定模型参数步骤604中建立完备空间模型这一中间步骤不会影响R。因此直接在相邻图像特征点提取与匹配步骤603中计算出摇摆的差值 $\mathrm{\Δ}{\mathrm{yaw}}_j=(\left(\underset{i=1}{\overset{I}{\mathrm{\Σ}}}(Y_{\mathrm{ji}}-Y_{j+1,i})\right)/I-b)/k,$ 其中，k＝π/fov₀，fov₀为fov的初值，b＝π/2，在建立完备空间模型、确定模型参数步骤604中一旦确定了基准图，摇摆初值即可确定。建立完备空间模型、确定模型参数步骤604将所有可能的变量考虑进来，并进行参数化，构造完备空间模型。本实施例中，所有四张图像都是用同一镜头获取，因此，每个球缺面所对应的有效视角(fov)和非线性畸变关系相同，模型参数V的总个数为3×(N+1)个，此外，本实施例选定拍摄时的第一幅图为基准图，从而计算出四幅图像的摇摆初值，并设定它们的俯仰、旋转初值全部为0，选定迭代算法中用于删除可能错误特征点的阀值σ＝0.05。一般而言，上述迭代过程迭代10次左右即可获得比较满意的结果。生成全景图像步骤605基于上述模型及其参数首先将所有上述球缺面进行变化投影到同一个球面上，或者将所有圆鱼眼或鼓形图像的最优包络圆区域投影到同一个球面上，并将它们进行混色生成最终图像。

Claims (19)

1、一种基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：包括以下步骤：

首先，根据圆鱼眼或鼓形图像在边界处亮度变化关系计算它们的最优包络圆区域；

将上述最优包络圆区域投影变换到一个特定球缺面；

然后，运用特征点提取算法，对上述球缺面进行特征点提取，并运用特征点匹配算法，计算出相邻球缺面的最优匹配特征点对；

建立完备空间模型，基于上述最优匹配特征点对运用迭代算法计算出模型参数；

最后，基于上述模型及其参数，拼合生成全景图像。

2、如权利要求1所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述最优包络圆，对于相同的镜头所得图片，其最优包络圆设定相同的半径。

3、如权利要求1所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：最优包络圆区域某点极坐标(ρ，α)到球缺面点(，θ)的映射关系如下：

其中c为大于0的常数。

4、如权利要求3所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述函数对应关系，包括将最优包络圆区域中局部区域或者离散点集，映射到球面上。

5、如权利要求3所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述函数对应关系，包括运用其逆关系，将球面，或球面局部区域或球面上的离散点集映射到二维平面上。

6、如权利要求1所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述特征点提取算法，对所述球缺面进行特征点提取，包括但不限于对球缺面的局部，或者从局部最优包络圆区域运用最优包络圆区域极坐标(ρ，α)到球缺面点(，θ)的映射关系变化所得球缺面进行特征点提取。

7、如权利要求1所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述特征点匹配算法，对所述球缺面的特征点进行相邻特征点匹配，包括：

所述球缺面相互之间的位置衔接关系可以通过拍摄次序得知或者可以为人眼所识别，这种相互关系被预先写入程序或者可以在匹配时输入；

所述相邻球缺面相互之间有一定的重合区域；

在对特征点进行初步匹配得出相邻匹配特征点对M后，从其中计算出最优匹配特征点对集合的步骤如下：

第一步，计算特征点对集合M的位置差 $\stackrel{\‾}{\mathrm{\Δ}}=\underset{i=1}{\overset{I}{Y}}{\mathrm{\Δ}}_i$ 对于任意特征点对M_i＝((X_1i，Y_1i)，(X_2i，Y_2i))，1≤i≤I，I为集合M的特征点对总数，其位置差为：Δ_i＝(ΔX_i，ΔY_i)＝(X_1i-X_2i，Y_1i-Y_2i)；

第二步，置循环变量i初值为0，其最大循环次数值为N，N大于0，小于特征点对的总数，设定距离阀值e，它用来判断两个特征点的差异性是否一致，设定最优匹配特征点对集合R＝Φ；

第三步，从M中任意选取第j特征点对，计算与M相对应的 Δ与Δ_j的距离 d，记 d＜e时所对应的特征点对集合为R′，即

$R^{\&prime;}=\left\{M_k\right|\left|\right|{\stackrel{\&OverBar;}{\mathrm{\&Delta;}}}_k-{\mathrm{\&Delta;}}_j\left|\right|<e,1\&le;k\&le;I\};$

第四步，若R′的特征点对总数大于R的特征点对总数，则置R＝R′；

第五步，置i＝i+1，若i＞N，则退出循环，此时R即为所求的最优匹配特征点对集合，否则，返回步骤三；

所述最优匹配特征点对表述了其相对应的相邻圆鱼眼或鼓形图像中的点在原图中是相对应的相同的特征点，这表明它们在真实世界坐标系中是相同的点。

8、如权利要求1所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述特征点提取是直接在球缺面上进行特征点提取并进行匹配。

9、如权利要求1所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述的完备空间模型是指N个球缺面组成的系统，每个球缺面对应于一张圆鱼眼或鼓形图像，考虑到镜头的非线性畸变关系：r＝a*sin(bq)，其中r为感兴趣点到最优包络圆区域圆心的距离，q为镜头轴向和从镜头中心点到该感兴趣点在实际景物中所对应点连线的夹角，a是一个缩放因子，从而实现实际场景与圆鱼眼或鼓形图像平面上点的一一映射，b为径向映射参数，每个球缺面都具有有效视角、旋转、摇摆、俯仰、缩放因子a、径向映射参数b六个参数，相同镜头所获得圆鱼眼或鼓形图像所对应的球缺面具有相同的有效视角和非线性畸变关系，因此该模型参数V的总个数为3×(N+1)到5×N中的一个整数。

10、如权利要求9所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：球缺面上的点由最优包络圆区域极坐标(ρ，α)到球缺面点(，θ)的映射关系从相应的最优包络圆区域中的点获得。

11、如权利要求9所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述有效视角相对于最优包络圆半径，最优包络圆中某条直径的两个端点所对应的入射光线的夹角即为有效视角。

12、如权利要求1所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述完备空间模型的主要特点是N个球缺面的重合区域部分通过放缩、旋转、摇摆、俯仰、非线性变化后在空间中的位置一致。

13、如权利要求1所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：基于最优匹配特征点对运用迭代算法计算出模型参数，是指运用迭代调整模型参数V使得最优匹配特征点对集合 $\underset{i=1}{\overset{N}{Y}}{R}_i=\underset{i}{\overset{N}{Y}}\underset{k=1}{\overset{K_i}{Y}}(F_{\mathrm{ik}},B_{\mathrm{ik}})$ 经过参数V变换之后距离差的平方和达到最小，其中R_i为第i张圆鱼眼或鼓形图像及其后一张相邻图像的最优匹配特征点对，F_ik为前一副图的特征点，B_ik为对应的后一副图的特征点，N为圆鱼眼或鼓形图像的总张数，K_i为R_i的元素个数，模型参数确定过程即 $\min \underset{i}{\overset{N}{\mathrm{\&Sigma;}}}\underset{k}{\overset{k_i}{\mathrm{\&Sigma;}}}\left|\right|f_i(F_{\mathrm{ik}},V)-g_i(B_{\mathrm{ik}},V)\left|\right|$ 的优化问题，其中，f_i(·，V)和g_i(·，V)分别是作用于第i图和其相邻后一幅图上的变化函数。

14、如权利要求13所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述的迭代算法是，设定其中一幅图像所对应球缺面为基准，即设定该幅图像的参数变量旋转、摇摆、俯仰的初值为0。

15、如权利要求13所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述的迭代算法是，设定每一幅图像所对应球缺面的旋转、俯仰的初值为0或接近于0的小数。

16、如权利要求13所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述的迭代算法中，其摇摆的初值设定步骤如下：

(1)由最优匹配特征点对集合R，计算出每两幅相邻图之间yaw的差值 $\mathrm{\&Delta;}{\mathrm{yaw}}_j=\left(\left(\underset{j=1}{\overset{I}{\mathrm{\&Sigma;}}}(Y_{\mathrm{ji}}-Y_{j+1,i})\right)/I-b\right)/k,$ 其中j＝1，Λ，N，Y_ji为第j幅图第i个特征点，当j＜N时，Y_j+1，i为相应的第j+1幅图第i个特征点，当j＝N时，Y_j+1，i为相应的基准图的第i个特征点；

(2)基准图后的第k幅图yaw初值为

17、如权利要求15中的迭代算法，在对参数进行初步调节后，引入阀值σ，设定迭代过程中‖f_i(F_ik，V)-g_i(B_ik，V)‖＞σ的特征点为错误匹配特征点，从

中删除它们，继续迭代直到最优。

18、如权利要求1所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述拼合生成全景图像是，将任意圆鱼眼或鼓形图像的最优包络圆区域投影到同一个球面S上，其步骤为：

(1)对于任意的圆鱼眼或鼓形图像，基于模型参数中的相对应的旋转、摇摆、俯仰三个参数计算其旋转矩阵M；

(2)用旋转矩阵M的逆矩阵左乘球面S，即将球面S旋转至该圆鱼眼或鼓形图像的球缺投影面所对应的位置。

(3)将上述球面S再绕x轴旋转

(4)比较该球面S的z坐标值与cos(fov/2)的大小，保留z＞cos(fov/2)的球面，该球面即为该圆鱼眼或鼓形图像的最优包络圆区域的展开球面。

19、如权利要求1所述的基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：所述拼合生成全景图像，包括对每幅圆鱼眼或鼓形图像的最优包络圆区域重复以上所有或部分步骤，以得到每幅圆鱼眼或鼓形图像的最优包络圆区域在同一个球平面上的展开图，并进行拼合。

Images