CN102222337A - 用于图像拼接的鱼眼图像校正方法 - Google Patents

Abstract

本发明提供了一种用于图像拼接的鱼眼图像校正方法，该方法对于存在部分图像重叠的两幅鱼眼图像通过计算机进行校正处理，采用了独特的校正原理，利用两幅鱼眼图像中相匹配的像素点，找出两幅鱼眼图像之间由拍摄时的俯仰角度引起的拼接夹角，由此反推求得两幅鱼眼图像拍摄时的俯仰角度，并通过俯仰变换映射处理校正拍摄时俯仰角度的误差对鱼眼图像的全景拼接处理所带来的倾斜、重影等负面影响，并且本发明方法具有鲁棒性较好、计算准确度高的优点。

Description

用于图像拼接的鱼眼图像校正方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种用于图像拼接的鱼眼图像校正方法。

背景技术

在全景展示、地貌采集、虚拟现实等众多图像处理的领域中，通常要求单幅照片的视角越宽越好，以便利用较少的图像资源和较短的时间完成图像数据的采集和处理。鱼眼图像，即利用鱼眼镜头拍摄的图像，由于其视域范围较宽，根据鱼眼镜头的不同，鱼眼图像最大视角可以达到180°甚至220°，因此在众多领域得到了广泛应用，特别是在全景图像采集领域。

在全景图像采集领域，借助鱼眼图像视角较大、视域较宽的优势，可以通过拍摄数量很少的几张鱼眼图像来得到全景图像。以水平采集全景图像为例，在拍摄时将摄像镜头轴心平行于水平面，以镜头为圆心，每水平旋转一特定角度拍摄一张鱼眼图像，所旋转的特定角度的大小则根据拍摄鱼眼图像的视角大小确定，通常选择为30°～60°，由此获得数张鱼眼图像，每相邻两幅鱼眼图像需要有部分图像相重叠，以便于后期借助该图像重叠区域进行拼接处理，得到全景图像。由于鱼眼图像因光学成像原理会产生变形失真，使得鱼眼图像与人眼的透视效果图像相比存在较大的差异，因此需要先将鱼眼图像进行失真校正处理为透视平面图像。如图1所示，图1(1A)为一幅球形鱼眼图像，其中礼堂的门、柱子等原本垂直的线条都出现了明显的变形失真；图1(1B)为经过失真校正处理后得到的透视平面图像，可以看出，失真校正处理后礼堂的门、柱子等线条恢复了垂直状态，使得图像更接近于人眼的透视效果。得到两幅鱼眼图像的透视平面图像后，再根据两幅透视平面图像中相匹配的像素点得到二者的图像重叠区域，按图像重叠区域将两幅透视平面图像进行重合拼接，即得到拼接图像，由此逐一拼接处理得到全景图像。

目前的失真校正处理，通常都是针对单幅鱼眼图像而进行的，处理时并没有考虑鱼眼图像拍摄时的俯仰角度问题。然而，在实际拍摄环境中，由于人为抖动、拍摄点地面平整度较差、拍摄点地面有所倾斜、拍摄时镜头旋转的细微抖动等诸多客观因素，极容易导致鱼眼图像拍摄时存在俯仰角度，俯仰角度的存在导致鱼眼图像直接经过失真校正处理后的透视平面图像中，原本垂直的线条依然无法完全恢复垂直而存在小角度的倾斜，并且相邻两幅鱼眼图像处理得到的两幅透视平面图像中，图像重叠区域的小角度的倾斜方向是相反的，使得这两幅透视平面图像拼接时图像重叠区域不能完全重合而出现重影现象，严重影响了全景图像的拼接质量。

发明内容

针对现有技术中存在的上述问题，本发明的目的在于提供一种用于图像拼接的鱼眼图像校正方法，以校正拍摄时俯仰角度的误差对鱼眼图像的全景拼接处理所带来的负面影响。

为实现上述目的，本发明采用了如下技术手段：

用于图像拼接的鱼眼图像校正方法，对于存在部分图像重叠的两幅鱼眼图像Q₁和Q₂，通过计算机进行校正处理，所述校正处理包括如下步骤：

a)将鱼眼图像Q₁和Q₂分别映射到以相机焦距f为半径的球面坐标UVW上，其中U轴表示水平方向，V轴表示竖直方向，W轴表示镜头轴心方向；球面坐标上的映射点(u，v，w)与鱼眼图像上第n行第m列像素点(m，n)的映射关系为：

$\left\{\begin{array}{c}m=f\·\mathrm{\θ}\·\cos \mathrm{\φ}+\frac{M}{2}\\ n=f\·\mathrm{\θ}\·\sin \mathrm{\φ}+\frac{N}{2}\end{array}\right.,$ 其中 $\left\{\begin{array}{c}\mathrm{\θ}=\arctan \left(\frac{\sqrt{u^2+v^2}}{w}\right)\\ \mathrm{\φ}=\arctan \left(\frac{v}{u}\right)\end{array}\right.;$

其中，m∈{1，2，...，M}，M表示鱼眼图像中像素点的总列数；n∈{1，2，...，N}，N表示鱼眼图像中像素点的总行数；

b)分别对鱼眼图像Q₁和Q₂在球面坐标上的映射点进行失真校正映射处理得到鱼眼图像Q₁和Q₂各自对应的透视平面图像P₁和P₂；透视平面图像上第y行第x列像素点(x，y)与球面坐标上映射点(u，v，w)的失真校正映射关系为：

$\left\{\begin{array}{c}x=f\·(\frac{\mathrm{\π}}{2}+\arccos \left(\frac{w}{\sqrt{u^2+w^2}}\right))\\ y=f\·(\mathrm{\π}-\arctan \left(\frac{\sqrt{u^2+w^2}}{v}\right))\end{array};\right.$

c)使用尺度不变特征变换算法求取透视平面图像P₁和P₂中相匹配的像素点，得到透视平面图像P₁和P₂的图像重叠区域

和

d)在俯仰角取值区间[α_-，α₊]内取图像重叠区域的预设俯仰角α₁和图像重叠区域

的预设俯仰角α₂；根据预设俯仰角α₁对图像重叠区域

的各个像素点进行俯仰变换映射处理，得到图像重叠区域

各个像素对应的俯仰修正像素点；根据预设俯仰角α₂对图像重叠区域

的各个像素点进行俯仰变换映射处理，得到图像重叠区域

各个像素对应的俯仰修正像素点；对图像重叠区域的像素点进行俯仰变换映射处理得到其对应的俯仰修正像素点的具体过程是：

d1)根据图像重叠区域的像素点在其所在透视平面图像中的行列位置

借助所述失真校正映射关系找到该图像重叠区域的像素点对应的鱼眼图像在球面坐标上的映射点

d2)将球面坐标上的映射点

俯仰变换映射为修正映射点

$\left[\begin{array}{c}{\hat{u}}^{\′}\\ {\hat{v}}^{\′}\\ {\hat{w}}^{\′}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}\hat{u}\\ \hat{v}\\ \hat{w}\end{array}\right];$

其中，α表示俯仰变换映射时对应的预设俯仰角；

d3)借助所述失真校正映射关系，对修正映射点

进行失真校正映射处理得到俯仰修正像素点

则

即为该图像重叠区域的像素点对应的俯仰修正像素点；

e)按下式计算图像重叠区域

和

中两对相匹配像素点对应的俯仰修正连线夹角ω：

$\mathrm{\ω}=\arcsin \left(\frac{({\hat{y}}_{2a}^{\′}-{\hat{y}}_{2b}^{\′})\·({\hat{x}}_{1a}^{\′}-{\hat{x}}_{1b}^{\′})-({\hat{y}}_{1a}^{\′}-{\hat{y}}_{1b}^{\′})\·({\hat{x}}_{2a}^{\′}-{\hat{x}}_{2b}^{\′})}{{({\hat{x}}_{1a}^{\′}-{\hat{x}}_{1b}^{\′})}^2+{({\hat{y}}_{1a}^{\′}-{\hat{y}}_{1b}^{\′})}^2}\right);$

其中，表示图像重叠区域

中像素点

根据预设俯仰角α₁进行俯仰变换映射处理得到的俯仰修正像素点，表示图像重叠区域

中像素点

根据预设俯仰角α₂进行俯仰变换映射处理得到的俯仰修正像素点，且

与

为一对相匹配的像素点；

表示图像重叠区域

中像素点

根据预设俯仰角α₁进行俯仰变换映射处理得到的俯仰修正像素点，

表示图像重叠区域

中像素点

根据预设俯仰角α₂进行俯仰变换映射处理得到的俯仰修正像素点，且

与

为另一对相匹配的像素点；

由此计算出图像重叠区域和

中每两对相匹配像素点对应的俯仰修正连线夹角，并从中统计出现概率最高的俯仰修正连线夹角，作为预设俯仰角α₁和α₂在当前取值时图像重叠区域

和

的俯仰修正拼接夹角；

f)让预设俯仰角α₁和α₂以取值精度Δα分别历遍俯仰角取值区间[α_-，α₊]内所有可能的取值，针对预设俯仰角α₁和α₂的每一组取值重复执行步骤d)～e)，求得预设俯仰角α₁和α₂在各组取值时图像重叠区域

和

的俯仰修正拼接夹角，将其中俯仰修正拼接夹角的绝对值最小情况下|α₁|-|α₂|的值最小时所对应的预设俯仰角α₁和α₂分别作为鱼眼图像Q₁和Q₂的校正俯仰角α_Q1和α_Q2；

g)根据校正俯仰角α_Q1对鱼眼图像Q₁在球面坐标上的映射点进行俯仰变换映射处理得到鱼眼图像Q₁的俯仰校正球面图像D′₁；根据校正俯仰角α_Q2对鱼眼图像Q₂在球面坐标上的映射点进行俯仰变换映射处理得到鱼眼图像Q₂的俯仰校正球面图像D′₂；俯仰校正球面图像上像素点(u′，v′，w′)与鱼眼图像在球面坐标上映射点(u，v，w)的俯仰变换映射关系为：

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\α}}_Q& -\sin {\mathrm{\α}}_Q\\ 0& \sin {\mathrm{\α}}_Q& \cos {\mathrm{\α}}_Q\end{array}\right]\left[\begin{array}{c}u\\ v\\ w\end{array}\right];$

其中，α_Q表示俯仰变换映射时对应的校正俯仰角；

h)分别对俯仰修正球面图像D′₁和D′₂进行失真校正映射处理，得到鱼眼图像Q₁的俯仰校正透视平面图像P′₁以及鱼眼图像Q₂的俯仰校正透视平面图像P′₂，校正完成；俯仰校正透视平面图像上第y′行第x′列像素点(x′，y′)与俯仰修正球面图像上像素点(u′，v′，w′)的失真校正映射关系为：

$\left\{\begin{array}{c}{x}^{\′}=f\·(\frac{\mathrm{\π}}{2}+\arccos \left(\frac{w^{\′}}{\sqrt{u^{\′2}+w^{\′2}}}\right))\\ y^{\′}=f\·(\mathrm{\π}-\arctan \left(\frac{\sqrt{u^{\′2}+w^{\′2}}}{v^{\′}}\right))\end{array}\right..$

上述用于图像拼接的鱼眼图像校正方法中，通常情况下，所述俯仰角取值区间[α_-，α₊]中，下限值α_-的取值范围为[-10°，0°)，上限值α₊的取值范围为(0°，10°]。

上述用于图像拼接的鱼眼图像校正方法中，通常情况下，所述取值精度Δα的取值范围为0.1°～0.5°。

相比于现有技术，本发明具有如下有益效果：

1、本发明方法具有较好的实际效果，能消除鱼眼图像景拼接时由于拍摄原因造成的俯仰误差所带来的不良影响变，帮助改善图像拼接的垂直性和重影问题。

2、本发明采用了独特的校正原理，根据两幅鱼眼图像对应的拼接夹角反推寻找二者各自的校正俯仰角，解决了鱼眼图像俯仰角难以求取的问题。

3、由于拼接夹角的运算仅与两幅鱼眼图像的图像重叠区域有关，因此本发明仅对图像重叠区域的像素点进行俯仰变换处理后计算拼接夹角，大大节省了计算量，提高了本发明方法的鲁棒性。

4、本发明先将两幅鱼眼图像分别进行失真校正处理为透视平面图像，再求取两幅透视平面图像的图像重叠区域，以避免因鱼眼图像变形失真导致的图像重叠区域求取误差。

5、本发明使用尺度不变特征变换算法求取两幅透视平面图像的图像重叠区域，尺度不变特征变换算法能够保持图像的旋转不变性以及抗噪声和光照影响的能力，能够更加准确的找到图像重叠区域。

附图说明

图1为经纬度映射法对鱼眼图像进行校正的示例图；

图2～图4为本发明进行原理说明的效果图；

图5为实施例中在同一拍摄点旋转拍摄的两幅鱼眼图像；

图6为图5中两幅鱼眼图像经过失真校正处理得到的两幅透视平面图像；

图7为图5中两幅鱼眼图像经过本发明方法校正后得到的两幅透视平面图像；

图8为图6中两幅透视平面图像拼接处理得到的结果图；

图9为图7中两幅透视平面图像拼接处理得到的结果图。

具体实施方式

本发明针对鱼眼图像拍摄时存在俯仰角度误差的问题，利用同一拍摄点遂平旋转拍摄且存在部分图像重叠的两幅鱼眼图像中相匹配的像素点，找出两幅鱼眼图像之间由拍摄时的俯仰角度引起的拼接夹角，由此反推求得两幅鱼眼图像拍摄时的俯仰角度，并通过俯仰变换映射处理校正拍摄时俯仰角度的误差对鱼眼图像的全景拼接处理所带来的倾斜、重影等负面影响。

一、校正原理：

先借助鱼眼图像的成像原理说明本发明方法的校正原理。

鱼眼图像的变形失真具有明显的特点，类似于球面成像形变。如果在拍摄鱼眼图像时，镜头存在一定的俯仰角度，则其失真校正处理后得到的透视平面图像会存在倾斜误差，由于相邻两幅鱼眼图像的拍摄环境相近，其倾斜误差也相近，因此相邻两幅鱼眼图像对应的两幅透视平面图像的倾斜误差程度也相近，只有相邻两幅鱼眼图像拍摄时旋转的特定角度较大时(例如为60°时)，两幅鱼眼图像的俯仰角度和倾斜误差才具有较明显的差异。例如，拍摄时存在俯仰角度的两幅鱼眼图像，其失真校正处理后得到的透视平面效果图以及拼接效果图如图2所示。其中，图2(2A)为两幅鱼眼图像对应的透视平面效果图，图2(2A)中的l1、l2、l3、l4都表示实景中垂直的景物边线，且其中左图中的l2和右图中的l3表示同一条景物边线；由于拍摄时的俯仰角度导致的误差而在失真校正处理时未考虑俯仰角度因素，景物边线l1、l2、l3、l4都都未完全恢复垂直状态而存在倾斜，且l2和l3的倾斜方向恰好相反；将逆时针转角记为正角度，由于左、右两图仰视误差相近，若景物边线l2与水平面的夹角为δ(δ＜π/2)，则景物边线l3与水平面的夹角可视为π-δ。如果把图2(2A)中的两幅透视平面效果图进行拼接处理，则拼接效果如图图2(2B)所示，l2和l3表示的同一条景物边线就会出现拼接夹角ω＝π-2δ的重影。

要解决拼接重影问题，就需要根据俯仰角度对鱼眼图像进行进行俯仰变换处理；然而鱼眼图像拍摄时的俯仰角度是未知的，因此如何确定俯仰角度则成为了削弱拼接重影的首要问题，因为俯仰角度的大小对俯仰变换处理后图像的垂直性能存在直接的影响。

假如，先分别对前述两幅鱼眼图像进行俯仰变换处理，再进行失真变形处理后，使得第一幅鱼眼图像对应的透视平面图像中景物边线l2顺时针偏转了Δδ₁角度得到l2′，第二幅鱼眼图像对应的透视平面图像中景物边线l3顺时针偏转了Δδ₂角度得到l3′，如图3(3A)所示，且其中有：

δ-Δδ₁＝(π-δ)-Δδ₂；

上式中将逆时针转角记为正角度。这样，两幅透视平面图像两图拼接后l2′和l3′的拼接夹角ω即可为0，能够完全重合而避免出现重影，如图3(3B)所示。但此时重合的l2′和l3′与水平面的夹角为：

δ-Δδ₁＝(π-Δδ₁-Δδ₂)/2；

可见，由于Δδ₁角度和Δδ₂角度均为顺时针转角且均不为0，因此重合的l2′和l3′与水平面的夹角并不等于π/2，也就是说表示同一景物边线的l2′和l3′虽然能够拼接重合，却依然未能恢复垂直，所以拼接所得的图像与实景相比依然是失真的。

借助这一思路，本发明通过结论倒退的思维方式，利用存在俯仰误差图像恢复垂直效果的结果，来寻找鱼眼图像拍摄时的俯仰角度。假如，分别对前述两幅鱼眼图像进行俯仰变换处理，再进行失真变形处理后，使得第一幅鱼眼图像对应的透视平面图像中景物边线l2顺时针偏转了Δδ角度得到l2″，第二幅鱼眼图像对应的透视平面图像中景物边线l3逆时针偏转了Δδ角度得到l3″，使得景物边线l2和l3分别恢复成为垂直的l2″和l3″，如图4(4A)所示，则有：

δ+Δδ＝(π-δ)-Δδ＝π/2；

由此可以看出，两图拼接后l2″和l3″的拼接偏转角为0，能够完全重合而避免出现重影，并且l2″和l3″与水平面的夹角等于π/2，恢复了垂直性，如图4(4B)所示。

有上述的原理论述可以看到，由于同一拍摄点旋转拍摄且存在部分视角重叠的两幅鱼眼图像的拍摄环境相近，其仰视误差也相近，从而该同一拍摄点旋转拍摄且存在部分视角重叠的两幅鱼眼图像通过经纬度映射法进行校正后的两幅初始校正图像中，在实景中垂直的同一景物边线在两幅初始校正图像中存在倾斜方向相反、倾斜角度大小相同的倾斜误差；然而，通过俯仰变换处理对两幅鱼眼图像进行修正，使得修正后同一景物边线的拼接夹角为0的情况有很多，而这些情况之中，当两幅鱼眼图像进行俯仰变换处理时所对应的俯仰角的大小相差最小时，修正过后的两幅图像能够最好的避免拼接出现重影并同时保持良好的垂直性。

二、校正处理方案：

基于上述的校正原理，对于存在部分图像重叠的两幅鱼眼图像Q₁和A₂，通过计算机进行校正处理，可以预先估计俯仰角取值区间[α_-，α₊]，求出在该俯仰角取值区间内按不同俯仰角分别对两幅鱼眼图像进行俯仰变换后所对应的拼接夹角，其中拼接夹角最小情况下对应的绝对值相差最小的两个俯仰角，即视为两幅鱼眼图像各自真实的拍摄俯仰角，以这两个俯仰角分别对两幅鱼眼图像进行俯仰变换后，能够最好的避免拼接出现重影并同时保持良好的垂直性。拼接夹角仅需要根据两幅鱼眼图像对应的的图像重叠区域来求得，而与两幅鱼眼图像中不相重叠的图像区域无关，因此若能够先求得两幅鱼眼图像的图像重叠区域，然后仅对图像重叠区域的像素点进行俯仰变换处理后计算拼接夹角，将大大节省计算量。基于这一目的，本发明采用了如下步骤的校正处理过程：

首先，需要求得鱼眼图像Q₁和Q₂的图像重叠区域。由于鱼眼图像边缘的像素点失真变形最为严重，而如果直接由鱼眼图像求取图像重叠区域则容易出现较大的误差。因此，本发明先将鱼眼图像Q₁和Q₂分别进行失真校正处理为透视平面图像P₁和P₂，再求取透视平面图像P₁和P₂的图像重叠区域，以避免图像重叠区域的求取误差。鱼眼图像Q₁和Q₂的图像重叠区域求取过程根据鱼眼图像的成像原理采用球面映射(对应步骤a))、失真校正映射(对应步骤b))和像素点匹配运算(对应步骤c))三个步骤实现。

a)将鱼眼图像Q₁和Q₂分别映射到以相机焦距f为半径的球面坐标UVW上，其中U轴表示水平方向，V轴表示竖直方向，W轴表示镜头轴心方向；球面坐标上的映射点(u，v，w)与鱼眼图像上第n行第m列像素点(m，n)的映射关系为：

$\left\{\begin{array}{c}m=f\·\mathrm{\θ}\·\cos \mathrm{\φ}+\frac{M}{2}\\ n=f\·\mathrm{\θ}\·\sin \mathrm{\φ}+\frac{N}{2}\end{array}\right.,$ 其中 $\left\{\begin{array}{c}\mathrm{\θ}=\arctan \left(\frac{\sqrt{u^2+v^2}}{w}\right)\\ \mathrm{\φ}=\arctan \left(\frac{v}{u}\right)\end{array}\right.;$

其中，m∈{1，2，...，M}，M表示鱼眼图像中像素点的总列数；n∈{1，2，...，N}，N表示鱼眼图像中像素点的总行数。

b)分别对鱼眼图像Q₁和Q₂在球面坐标上的映射点进行失真校正映射处理得到鱼眼图像Q₁和Q₂各自对应的透视平面图像P₁和P₂；透视平面图像上第y行第x列像素点(x，y)与球面坐标上映射点(u，v，w)的失真校正映射关系为：

$\left\{\begin{array}{c}x=f\·(\frac{\mathrm{\π}}{2}+\arccos \left(\frac{w}{\sqrt{u^2+w^2}}\right))\\ y=f\·(\mathrm{\π}-\arctan \left(\frac{\sqrt{u^2+w^2}}{v}\right))\end{array}.\right.$

c)现有技术中能够实现像素点匹配运算的方法有很多，例如KNN聚类算法(K最邻近聚类算法)、差分不变性匹配算法等等。本发明在这里使用尺度不变特征变换算法求取透视平面图像P₁和P₂中相匹配的像素点，得到透视平面图像P₁和P₂的图像重叠区域

和

尺度不变特征变换算法能够保持图像的旋转不变性以及抗噪声和光照影响的能力，能够更加准确的找到透视平面图像P₁和P₂中相匹配的像素点。尺度不变特征变换算法为现有技术，可参考“Lowe D G.Distinctive image features from scale-invariant keypoints.International Journal of Computer Vision，2004，60(2)：91-110”等文献，本发明就不再对尺度不变特征变换算法加以过多的论述。

在求出透视平面图像P₁和P₂的图像重叠区域

和

之后，就需要预设俯仰角来求取透视平面图像P₁和P₂经俯仰变换后的拼接夹角；由于拼接夹角仅需要根据两幅透视平面图像的图像重叠区域来求得，因此仅对图像重叠区域的像素点进行俯仰变换处理后计算拼接夹角，而对于除图像重叠区域以外的其它像素点不予计算，便能够大大节省计算量，使得本发明方法具备了良好的鲁棒性。于是本发明根据预设俯仰角求取拼接夹角的过程如步骤d)和e)所示：

d)在俯仰角取值区间[α_-，α₊]内取图像重叠区域的预设俯仰角α₁和图像重叠区域

的预设俯仰角α₂；俯仰角取值区间[α_-，α₊]的下限值α_-和上限值α₊可根据经验取值，但通常情况下，考虑到鱼眼图像拍摄时俯仰角度不会超过±10°，因此下限值α_-的取值范围可为[-10°，0°)，上限值α₊的取值范围可为(0°，10°]；根据预设俯仰角α₁对图像重叠区域

的各个像素点进行俯仰变换映射处理，得到图像重叠区域

各个像素对应的俯仰修正像素点；根据预设俯仰角α₂对图像重叠区域

的各个像素点进行俯仰变换映射处理，得到图像重叠区域

各个像素对应的俯仰修正像素点；对图像重叠区域的像素点进行俯仰变换映射处理得到其对应的俯仰修正像素点的具体过程是：

d1)根据图像重叠区域的像素点在其所在透视平面图像中的行列位置

借助所述失真校正映射关系找到该图像重叠区域的像素点

对应的鱼眼图像在球面坐标上的映射点

即：

$\left\{\begin{array}{c}\hat{x}=f\·(\frac{\mathrm{\π}}{2}+\arccos \left(\frac{\hat{w}}{\sqrt{{\hat{u}}^2+{\hat{w}}^2}}\right))\\ \hat{y}=f\·(\mathrm{\π}-\arctan \left(\frac{\sqrt{{\hat{u}}^2+{\hat{w}}^2}}{\hat{v}}\right))\end{array};\right.$

d2)将球面坐标上的映射点

俯仰变换映射为修正映射点

$\left[\begin{array}{c}{\hat{u}}^{\′}\\ {\hat{v}}^{\′}\\ {\hat{w}}^{\′}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}\hat{u}\\ \hat{v}\\ \hat{w}\end{array}\right];$

其中，α表示俯仰变换映射时对应的预设俯仰角；

d3)借助所述失真校正映射关系，对修正映射点

进行失真校正映射处理得到俯仰修正像素点

即：

$\left\{\begin{array}{c}{\hat{x}}^{\′}=f\·(\frac{\mathrm{\π}}{2}+\arccos \left(\frac{{\hat{w}}^{\′}}{\sqrt{{\hat{u}}^{\′2}+{\hat{w}}^{\′2}}}\right))\\ {\hat{y}}^{\′}=f\·(\mathrm{\π}-\arctan \left(\frac{\sqrt{{\hat{u}}^{\′2}+{\hat{w}}^{\′2}}}{{\hat{v}}^{\′}}\right))\end{array}\right.;$

则

即为该图像重叠区域的像素点

对应的俯仰修正像素点。

e)按下式计算图像重叠区域

和

中两对相匹配像素点对应的俯仰修正连线夹角ω：

$\mathrm{\ω}=\arcsin \left(\frac{({\hat{y}}_{2a}^{\′}-{\hat{y}}_{2b}^{\′})\·({\hat{x}}_{1a}^{\′}-{\hat{x}}_{1b}^{\′})-({\hat{y}}_{1a}^{\′}-{\hat{y}}_{1b}^{\′})\·({\hat{x}}_{2a}^{\′}-{\hat{x}}_{2b}^{\′})}{{({\hat{x}}_{1a}^{\′}-{\hat{x}}_{1b}^{\′})}^2+{({\hat{y}}_{1a}^{\′}-{\hat{y}}_{1b}^{\′})}^2}\right);$

其中，

表示图像重叠区域

中像素点

根据预设俯仰角α₁进行俯仰变换映射处理得到的俯仰修正像素点，

表示图像重叠区域

中像素点

根据预设俯仰角α₂进行俯仰变换映射处理得到的俯仰修正像素点，且

与

为一对相匹配的像素点；表示图像重叠区域

中像素点根据预设俯仰角α₁进行俯仰变换映射处理得到的俯仰修正像素点，

表示图像重叠区域

中像素点

根据预设俯仰角α₂进行俯仰变换映射处理得到的俯仰修正像素点，且

与

为另一对相匹配的像素点；

由此计算出图像重叠区域

和中每两对相匹配像素点对应的俯仰修正连线夹角，并从中统计出现概率最高的俯仰修正连线夹角，作为预设俯仰角α₁和α₂在当前取值时图像重叠区域

和

的俯仰修正拼接夹角；

然后，根据前述的校正原理确定鱼眼图像Q₁和Q₂的校正俯仰角α_Q1和α_Q2，具体方法如步骤f)所述：

f)让预设俯仰角α₁和α₂以取值精度Δα分别历遍俯仰角取值区间[α_-，α₊]内所有可能的取值，取值精度Δα的取之大小影响到拼接夹角的计算精度以及计算量两方面因素，若综合考量这两方面因素，取值精度Δα的取值范围选择为0.1°～0.5°较为适宜；针对预设俯仰角α₁和α₂的每一组取值重复执行步骤d)～e)，求得预设俯仰角α₁和α₂在各组取值时图像重叠区域

和

的俯仰修正拼接夹角，将其中俯仰修正拼接夹角的绝对值最小情况下|α₁|-|α₂|的值最小时所对应的预设俯仰角α₁和α₂分别作为鱼眼图像Q₁和Q₂的校正俯仰角α_Q1和α_Q2；

最后，利用校正俯仰角α_Q1和α_Q2分别对鱼眼图像Q₁和Q₂进行俯仰变换处理，并得到二者各自的俯仰校正透视平面图像：

g)根据校正俯仰角α_Q1对鱼眼图像Q₁在球面坐标上的映射点进行俯仰变换映射处理得到鱼眼图像Q₁的俯仰校正球面图像D′₁；根据校正俯仰角α_Q2对鱼眼图像Q₂在球面坐标上的映射点进行俯仰变换映射处理得到鱼眼图像Q₂的俯仰校正球面图像D′₂；俯仰校正球面图像上像素点(u′，v′，w′)与鱼眼图像在球面坐标上映射点(u，v，w)的俯仰变换映射关系为：

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\α}}_Q& -\sin {\mathrm{\α}}_Q\\ 0& \sin {\mathrm{\α}}_Q& \cos {\mathrm{\α}}_Q\end{array}\right]\left[\begin{array}{c}u\\ v\\ w\end{array}\right];$

其中，α_Q表示俯仰变换映射时对应的校正俯仰角；

h)分别对俯仰修正球面图像D′₁和D′₂进行失真校正映射处理，得到鱼眼图像Q₁的俯仰校正透视平面图像P′₁以及鱼眼图像Q₂的俯仰校正透视平面图像P′₂，校正完成；俯仰校正透视平面图像上第y′行第x′列像素点(x′，y′)与俯仰修正球面图像上像素点(u′，v′，w′)的失真校正映射关系为：

$\left\{\begin{array}{c}{x}^{\′}=f\·(\frac{\mathrm{\π}}{2}+\arccos \left(\frac{w^{\′}}{\sqrt{u^{\′2}+w^{\′2}}}\right))\\ y^{\′}=f\·(\mathrm{\π}-\arctan \left(\frac{\sqrt{u^{\′2}+w^{\′2}}}{v^{\′}}\right))\end{array}\right..$

下面结合附图和实施例对本发明的技术方案作进一步的说明。

三、实施例：

参见图5，图5(5A)和图5(5B)是在同一拍摄点旋转拍摄的两幅鱼眼图像，从图中可以看出两幅鱼眼图像存在部分图像重叠；两幅鱼眼图像视角大小均为120°，两幅鱼眼图像的拍摄旋转角度约为60°，并且该两幅鱼眼图像拍摄时存在俯仰误差。图5(5A)和图5(5B)经过本发明方法步骤a)和b)处理后得到的透视平面图像分别如图6(6A)和图6(6B)所示；本发明方法步骤a)和b)的处理方法即为现有技术中对鱼眼图像的失真校正处理方法，可以看到，右半部分和图6(6B)左半部分所示的同一建筑物的侧墙存在不同方向、不同角度的倾斜和弯曲，丧失了垂直性。如果将图6(6A)和图6(6B)直接拼接，则拼接结果如图8所示，可以看到图8中部同一建筑物的侧墙因拼接偏转角较大而出现明显的重影。继续执行本发明方法的步骤c)～f)，在步骤d)中俯仰角取值区间[α_-，α₊]取为[-1°，3°]，在步骤f)中取值精度Δα取为0.5°，即让预设俯仰角α₁和α₂分别以0.5°的取值精度(每间隔0.5°取一次值)历遍俯仰角取值区间[-1°，3°]内所有可能的取值，针对预设俯仰角α₁和α₂的每一组取值对应的图6(6A)和图6(6B)图像重叠区域的俯仰修正拼接夹角，其数据记录如表1所示：

表1

从表1可以看到，其中图6(6A)和图6(6B)图像重叠区域的俯仰修正拼接夹角的绝对值最小为0.007°的情况下，预设俯仰角α₁和α₂的取值分别对应为2.0°和3.0°、2.5°和2.5°以及3.0°和2.0°，其中预设俯仰角α₁和α₂取值为2.5°和2.5°时|α₁|-|α₂|的值最小，因此确定鱼眼图像图5(5A)和图5(5B)的校正俯仰角α_Q1和α_Q2分别为2.5°和2.5°。最后执行步骤g)～h)，根据校正俯仰角α_Q1＝1°将鱼眼图像图5(5A)校正得到图7(7A)，根据校正俯仰角α_Q2＝1°将鱼眼图像图5(5B)校正得到图7(7B)；可以看到，图7(7A)右半部分和图7(7B)左半部分所示的同一建筑物的侧墙的倾斜和弯曲得到了校正，并且都较好的保持了垂直性。

由此，若将图7(7A)和图7(7B)进行拼接处理，则拼接结果如图9所示，从图9可见中部同一建筑物的侧墙的重影已经基本被消除，而且该侧墙也基本与地面垂直，证明了本发明方法对校正拍摄时俯仰角度的误差对鱼眼图像的全景拼接处理所带来的倾斜、重影等负面影响具有明显的效果。

该实施例证明，本发明方法具有较好的实际效果，能消除鱼眼图像景拼接时由于拍摄原因造成的俯仰误差所带来的不良影响变，帮助改善图像拼接的垂直性和重影问题。

如果取值精度Δα的取值更小，让预设俯仰角α₁和α₂在俯仰角取值区间[α_-，α₊]中的取值点更多，将有助于更准确的找到两幅鱼眼图像的校正俯仰角，进而能够进一步提高最终的矫正质量。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.用于图像拼接的鱼眼图像校正方法，其特征在于，对于存在部分图像重叠的两幅鱼眼图像Q₁和Q₂，通过计算机进行校正处理，所述校正处理包括如下步骤：

a)将鱼眼图像Q₁和Q₂分别映射到以相机焦距f为半径的球面坐标UVW上，其中U轴表示水平方向，V轴表示竖直方向，W轴表示镜头轴心方向；球面坐标上的映射点(u，v，w)与鱼眼图像上第n行第m列像素点(m，n)的映射关系为：

$\left\{\begin{array}{c}m=f\·\mathrm{\θ}\·\cos \mathrm{\φ}+\frac{M}{2}\\ n=f\·\mathrm{\θ}\·\sin \mathrm{\φ}+\frac{N}{2}\end{array}\right.,$ 其中 $\left\{\begin{array}{c}\mathrm{\θ}=\arctan \left(\frac{\sqrt{u^2+v^2}}{w}\right)\\ \mathrm{\φ}=\arctan \left(\frac{v}{u}\right)\end{array}\right.;$

其中，m∈{1，2，...，M}，M表示鱼眼图像中像素点的总列数；n∈{1，2，...，N}，N表示鱼眼图像中像素点的总行数；

b)分别对鱼眼图像Q₁和Q₂在球面坐标上的映射点进行失真校正映射处理得到鱼眼图像Q₁和Q₂各自对应的透视平面图像P₁和P₂；透视平面图像上第y行第x列像素点(x，y)与球面坐标上映射点(u，v，w)的失真校正映射关系为：

$\left\{\begin{array}{c}x=f\·(\frac{\mathrm{\π}}{2}+\arccos \left(\frac{w}{\sqrt{u^2+w^2}}\right))\\ y=f\·(\mathrm{\π}-\arctan \left(\frac{\sqrt{u^2+w^2}}{v}\right))\end{array};\right.$

c)使用尺度不变特征变换算法求取透视平面图像P₁和P₂中相匹配的像素点，得到透视平面图像P₁和P₂的图像重叠区域

和

d)在俯仰角取值区间[α_-，α₊]内取图像重叠区域

的预设俯仰角α₁和图像重叠区域的预设俯仰角α₂；根据预设俯仰角α₁对图像重叠区域的各个像素点进行俯仰变换映射处理，得到图像重叠区域

各个像素对应的俯仰修正像素点；根据预设俯仰角α₂对图像重叠区域

的各个像素点进行俯仰变换映射处理，得到图像重叠区域

各个像素对应的俯仰修正像素点；对图像重叠区域的像素点进行俯仰变换映射处理得到其对应的俯仰修正像素点的具体过程是：

d1)根据图像重叠区域的像素点在其所在透视平面图像中的行列位置借助所述失真校正映射关系找到该图像重叠区域的像素点

对应的鱼眼图像在球面坐标上的映射点

d2)将球面坐标上的映射点

俯仰变换映射为修正映射点

$\left[\begin{array}{c}{\hat{u}}^{\′}\\ {\hat{v}}^{\′}\\ {\hat{w}}^{\′}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}\hat{u}\\ \hat{v}\\ \hat{w}\end{array}\right];$

其中，α表示俯仰变换映射时对应的预设俯仰角；

d3)借助所述失真校正映射关系，对修正映射点

进行失真校正映射处理得到俯仰修正像素点

则

即为该图像重叠区域的像素点

对应的俯仰修正像素点；

e)按下式计算图像重叠区域

和

中两对相匹配像素点对应的俯仰修正连线夹角ω：

$\mathrm{\ω}=\arcsin \left(\frac{({\hat{y}}_{2a}^{\′}-{\hat{y}}_{2b}^{\′})\·({\hat{x}}_{1a}^{\′}-{\hat{x}}_{1b}^{\′})-({\hat{y}}_{1a}^{\′}-{\hat{y}}_{1b}^{\′})\·({\hat{x}}_{2a}^{\′}-{\hat{x}}_{2b}^{\′})}{{({\hat{x}}_{1a}^{\′}-{\hat{x}}_{1b}^{\′})}^2+{({\hat{y}}_{1a}^{\′}-{\hat{y}}_{1b}^{\′})}^2}\right);$

其中，

表示图像重叠区域

中像素点根据预设俯仰角α₁进行俯仰变换映射处理得到的俯仰修正像素点，

表示图像重叠区域

中像素点

根据预设俯仰角α₂进行俯仰变换映射处理得到的俯仰修正像素点，且

与

为一对相匹配的像素点；

表示图像重叠区域

中像素点根据预设俯仰角α₁进行俯仰变换映射处理得到的俯仰修正像素点，

表示图像重叠区域

中像素点

根据预设俯仰角α₂进行俯仰变换映射处理得到的俯仰修正像素点，且

与

为另一对相匹配的像素点；

由此计算出图像重叠区域

和

中每两对相匹配像素点对应的俯仰修正连线夹角，并从中统计出现概率最高的俯仰修正连线夹角，作为预设俯仰角α₁和α₂在当前取值时图像重叠区域

和

的俯仰修正拼接夹角；

f)让预设俯仰角α₁和α₂以取值精度Δα分别历遍俯仰角取值区间[α_-，α₊]内所有可能的取值，针对预设俯仰角α₁和α₂的每一组取值重复执行步骤d)～e)，求得预设俯仰角α₁和α₂在各组取值时图像重叠区域

和

的俯仰修正拼接夹角，将其中俯仰修正拼接夹角的绝对值最小情况下|α₁|-|α₂|的值最小时所对应的预设俯仰角α₁和α₂分别作为鱼眼图像Q₁和Q₂的校正俯仰角α_Q1和α_Q2；

g)根据校正俯仰角α_Q1对鱼眼图像Q₁在球面坐标上的映射点进行俯仰变换映射处理得到鱼眼图像Q₁的俯仰校正球面图像D′₁；根据校正俯仰角α_Q2对鱼眼图像Q₂在球面坐标上的映射点进行俯仰变换映射处理得到鱼眼图像Q₂的俯仰校正球面图像D′₂；俯仰校正球面图像上像素点(u′，v′，w′)与鱼眼图像在球面坐标上映射点(u，v，w)的俯仰变换映射关系为：

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}u\\ v\\ w\end{array}\right];$

其中，α_Q表示俯仰变换映射时对应的校正俯仰角；

h)分别对俯仰修正球面图像D′₁和D′₂进行失真校正映射处理，得到鱼眼图像Q₁的俯仰校正透视平面图像P′₁以及鱼眼图像Q₂的俯仰校正透视平面图像P′₂，校正完成；俯仰校正透视平面图像上第y′行第x′列像素点(x′，y′)与俯仰修正球面图像上像素点(u′，v′，w′)的失真校正映射关系为：

$\left\{\begin{array}{c}{x}^{\′}=f\·(\frac{\mathrm{\π}}{2}+\arccos \left(\frac{w^{\′}}{\sqrt{u^{\′2}+w^{\′2}}}\right))\\ y^{\′}=f\·(\mathrm{\π}-\arctan \left(\frac{\sqrt{u^{\′2}+w^{\′2}}}{v^{\′}}\right))\end{array}\right..$

2.根据权利要求1所述的用于图像拼接的鱼眼图像校正方法，其特征在于，所述俯仰角取值区间[α_-，α₊]中，下限值α_-的取值范围为[-10°，0°)，上限值α₊的取值范围为(0°，10°]。

3.根据权利要求1所述的用于图像拼接的鱼眼图像校正方法，其特征在于，所述取值精度Δα的取值范围为0.1°～0.5°。

Images