CN104463791A - 一种基于球面模型的鱼眼图像校正法 - Google Patents

Abstract

本发明属于光电产品应用技术领域，具体涉及一种基于球面模型的鱼眼图像校正法。共分为三个步骤：一、利用球面透视投影约束获得变形参数；二、把平面坐标转换为球面坐标；三、把球面坐标按经纬映射表示得到校正之后的结果图。用此法校正后的图像未漏任何信息，算法快速准确，能满足本系统的要求。

Description

一种基于球面模型的鱼眼图像校正法

技术领域

本发明属于光电产品应用技术领域，具体涉及一种基于球面模型的鱼眼图像校正法。 

背景技术

鱼眼图像校正算法有两种方式： 

一、从2D和3D空间对鱼眼图像进行变形校正展开： 

(1)2D鱼眼图像变形校正。直接确定待校正图像与变形图像上对应点坐标的变换，接着进行像素灰度插值。 

(2)3D鱼眼图像变形校正。有鱼眼镜头标定和投影转换两种方法。鱼眼镜头标定算法可以精确恢复，建立鱼眼镜头变形模型之后，因为鱼眼镜头成像有薄棱镜畸变等各种畸变模型，所以还需建立精确的鱼眼镜头成像模型，然后通过实验和目标函数来求出鱼眼镜头的内外参数，以达到精确恢复鱼眼图像变形的目的。投影转换算法是将鱼眼图像转换成透视投影的图像。根据图像的像素点和对应光线3D向量间的关系来实现校正。 

二、从鱼眼镜头成像的两种投影模型来分析： 

(1)球面投影模型。把鱼眼镜头成像面看作球面，虽简便有效但需先知道鱼眼图像的光学中心以及变换球面的半径。 

(2)抛物面成像模型。把鱼眼镜头成像面看作抛物面，在恢复场景深度时运用可得到更精确的效果，但计算过于复杂。 

代表性算法有： 

1、球面坐标定位法 

先对鱼眼图像求取中心点和标准圆变换，之后进行球面坐标定位。 

2、多项式坐标变换算法 

该方法是空间坐标变换的一种变形校正算法，较简单，用于描述理想图与畸变图之间的地址映射。 

3、球面透视投影约束算法 

此法使用的约束是：在球面透视模型中，场景中的直线应投影成球面图像上的大圆。所选的投影曲线应在鱼眼图像上均匀分布，以得到变形校正参数的无偏估计。这些采样点通过变形校正参数可映射为球面点，建立的目标函数是这些球面点到相应拟合大圆的球面距离的平方和，变形校正参数通过最小化目标函数来恢复。 

发明内容

本发明要解决的技术问题是提供一种基于球面模型的鱼眼图像校正法，以满足系统对校正算法的要求。 

为了实现这一目的，本发明采取的技术方案是： 

一种基于球面模型的鱼眼图像校正法，包括以下步骤： 

（1）选择球面透视模型； 

（2）获得变形参数 

在球面透视投影模型中，选取空间一条直线AB，设定其理想像为直线a′b′；由于在球面透视投影中存在畸变，得到的实际像为曲线ab，曲线ab即空间直线AB所成的鱼眼图像； 

选取球面透视投影模型中任意一点A，A点经过球面映射到A′，A′经过球面透镜非线性映射成像到a 

a＝D(A′)     (1) 

D称为鱼眼变形模型；D是可逆的： 

A′＝D^-1(a)     (2) 

D^-1称为鱼眼变形校正模型； 

A′B′是AB对应的单位球面透镜投影图像，它在单位球体的大圆c之中； 

像点b的极坐标为(r，θ)，对应B′点的球面坐标为选取3次多项式对其拟合： 

需校正{c₁，c₂，c₃，a₁，a₂}这5个畸变校正参数，此法使用的约束是：在球面透视模型中，场景中的直线投影成球面图像上的大圆；所选的投影曲线在鱼眼图像上均匀分布，以得到变形校正参数的无偏估计；这些采样点通过变形校正参数映射为球面点，建立的目标函数是这些球面点到相应拟合大圆的球面距离的平方和，变形校正参数通过最小化目标函数来恢复； 

设P为单位球面上的任意点，球面点P到大圆(Φ，Θ)的球面距离： 

用L表示所选的曲线条数，用N_j（j=1，2，...L）表示各曲线上的采样点数，目标函数为： 

上式中Φ_j与Θ_j是与曲线j相对应的最优拟合大圆的坐标，是与曲线j上的第i(i=1，2，...N_j)个采样点相对应的球面点的球面坐标； 

大圆的法向量与曲线j上所有采样点对应的球面坐标正交，假设平面法向量为n_j，其对应的球面坐标为则有： 

${(p_1,p_2,...,p_{N_j})}^T{\·n}_j=0---(4-12)$

大圆坐标(Φ，Θ)即是超定方程组的解，用同样的方法可以将所有大圆坐标求出。 

（3）获得球面坐标 

将球面坐标系P纬度展开成垂直坐标，经度展开成水平坐标； 

半球面展开后是正方形图；将鱼眼图像点P(r,θ)通过参数{c₁,c₂,c₃,a₁,a₂}用公式（3）转换成球面坐标P′是P向XOZ平面投影得到的垂足，P′′是P向XOY平面投影得到的垂足，OP与Z轴的夹角即为OP′′与X轴正方向的夹角即为θ′；由图5可推出OP'与X轴正方向的夹角OP与Y轴正方向的夹角

（4）将球面坐标按经纬映射进行展开 

按地理常识对经纬度进行定义：北纬为位于x轴上方的点，南纬为位于x轴下方的点，赤道为位于x轴上的点；西经为位于y轴左边的点，东经为位于y轴右边的点； 

经度的计算公式： 

纬度的计算公式： 

以点p为例，该点对应的极坐标为(r,θ)，通过公式(3)可得出其球面坐标 利用公式(6)(7)计算出经度ξ和纬度σ，在图6可以按照这两个坐标找到其对应的校正点；对图像中每个像素都这样计算，即可将鱼眼图像还原。 

本发明是基于球面透视模型提出一种有效的方法，能够满足系统对校正算法的要求，主要应用于车辆辅助驾驶系统，对鱼眼摄像机拍得的鱼眼图像的校正快且准，不漏任何图像信息。 

附图说明

图1是鱼眼成像示意图； 

图2是一幅鱼眼图像； 

图3是对应的球面投影图像； 

图4是球面点到大圆的球面距离示意图； 

图5是经纬展开原理图1； 

图6是经纬展开原理图2。 

具体实施方式

下面结合附图对本发明技术方案进行进一步详细说明。本发明方法共分为三个步骤： 

一、利用球面透视投影约束获得变形参数； 

二、把平面坐标转换为球面坐标； 

三、把球面坐标按经纬映射表示得到校正之后的结果图。 

用此法校正后的图像未漏任何信息，算法快速准确，能满足本系统的要求。 

1、选择模型 

球面坐标定位展开法只适合粗略的校正，其最终效果不够理想；多项式坐标变换法及其改进算法运算量过大，处理速度较慢；立体视觉标定法精度较高，但过程复杂，镜头的做工较为粗糙会最终导致校正结果有偏差，而且会遗失部分边缘信息；球面投影模型法简单有效，将鱼眼镜头成像面看作球面求解校正参数，但该算法在投影到平面时会产生严重的边缘失真，在投影到半立方体时才能收到好效果；抛物面成像模型法是球面投影模型的改进方法，将成像面看作抛物面，该算法比球面投影模型复杂很多，对二维图像的校正结果改进并不大，主要用于恢复三维场景。因此，为满足系统的要求，本发明选择球面透视 模型。 

2、获得变形参数 

图1为球面透视投影模型的原理图，AB是空间一条直线，理想像为直线a′b′。畸变的存在使得实际像为曲线ab。以A点为例，A球面映射到A′，A′经过球面透镜非线性映射成像到a′ 

a＝D(A′)     (1) 

D称为鱼眼变形模型。D是可逆的： 

A′＝D^-1(a)     (2) 

D^-1称为鱼眼变形校正模型。 

图2中ab是空间直线AB所成的鱼眼图像，图3中A′B′是它对应的单位球面透镜投影图像，它在单位球体某大圆c之中。 

已知像点b的极坐标为(r，θ)，对应B′点的球面坐标为选取3次多项式对其拟合： 

从上式中可以看出只需校正{c₁，c₂，c₃，a₁，a₂} 

此法使用的约束是：在球面透视模型中，场景中的直线应投影成球面图像上的大圆。所选的投影曲线应在鱼眼图像上均匀分布，以得到变形校正参数的无偏估计。这些采样点通过变形校正参数可映射为球面点，建立的目标函数是这些球面点到相应拟合大圆的球面距离的平方和，变形校正参数通过最小化目标函数来恢复。 

球面点P到大圆(Φ，Θ)的球面距离如图3所示，公式为： 

若用L表示所选的曲线条数，用N_j（j=1，2，...L）表示各曲线上的采样点数，那么目标函数为： 

上式中Φ_j与Θ_j是与曲线j相对应的最优拟合大圆的坐标，是与曲线j上的第i(i=1，2，...N_j)个采样点相对应的球面点的球面坐标。 

3、获得球面坐标 

将图3的坐标系转换为图5以符合常用的经纬表达方式。设P为单位球面上的任意点，其纬度展开成垂直坐标，经度展开成水平坐标。如图6所示，半球面展开后是正方形图。将鱼眼图像点P(r,θ)通过参数{c₁,c₂,c₃,a₁,a₂}用公式（3）转换成球面坐标P′是P向XOZ平面投影得到的垂足，P′′是P向XOY平面投影得到的垂足，OP与Z轴的夹角即为OP′′与X轴正方向的夹角即为θ′。由图5可推出

4、将球面坐标按经纬映射进行展开 

按地理常识对经纬度进行定义：如图6所示，北纬为位于x轴上方的点，南纬为位于x轴下方的点，赤道为位于x轴上的点；西经为位于y轴左边的点，东经为位于y轴右边的点。 

则经度的计算公式： 

纬度的计算公式： 

以点p为例，该点对应的极坐标为(r,θ)，通过公式(3)可得出其球面坐标 利用公式(6)(7)计算出经度ξ和纬度σ，在图6可以找到其对应的校正点。 

对图像中每个像素都这样计算，即可将鱼眼图像还原。 

Claims (1)

1.一种基于球面模型的鱼眼图像校正法，其特征在于，包括以下步骤： 

（1）选择球面透视模型； 

（2）获得变形参数： 

在球面透视投影模型中，选取空间一条直线AB，设定其理想像为直线a′b′；由于在球面透视投影中存在畸变，得到的实际像为曲线ab，曲线ab即空间直线AB所成的鱼眼图像； 

选取球面透视投影模型中任意一点A，A点经过球面映射到A′，A′经过球面透镜非线性映射成像到a 

a＝D(A')         (1) 

D称为鱼眼变形模型；D是可逆的： 

A′＝D^-1(a)          (2) 

D^-1称为鱼眼变形校正模型； 

A′B′是AB对应的单位球面透镜投影图像，它在单位球体的大圆c之中； 

像点b的极坐标为(r,θ)，对应B′点的球面坐标为选取3次多项式对其拟合： 

需校正{c₁,c₂,c₃,a₁,a₂}这5个畸变校正参数，此法使用的约束是：在球面透视模型中，场景中的直线投影成球面图像上的大圆；所选的投影曲线在鱼眼图像上均匀分布，以得到变形校正参数的无偏估计；这些采样点通过变形校正参数映射为球面点，建立的目标函数是这些球面点到相应拟合大圆的球面距离的平方和，变形校正参数通过最小化目标函数来恢复； 

设为单位球面上的任意点，球面点到大圆(Φ,Θ)的球面距离： 

用L表示所选的曲线条数，用N_j（j=1,2,…L）表示各曲线上的采样点数，目标函数为： 

上式中Φ_j与Θ_j是与曲线j相对应的最优拟合大圆的坐标，是与曲线j上的第i(i=1,2,…N_j)个采样点相对应的球面点的球面坐标； 

大圆的法向量与曲线j上所有采样点对应的球面坐标正交，假设平面法向量为n_j，其对应的球面坐标为则有： 

大圆坐标(Φ,Θ)即是超定方程组的解，用同样的方法可以将所有大圆坐标求出； 

（3）获得球面坐标： 

将球面坐标系纬度展开成垂直坐标，经度展开成水平坐标； 

半球面展开后是正方形图；将鱼眼图像点P(r,θ)通过参数{c₁,c₂,c₃,a₁,a₂}用公式（3）转换成球面坐标P′是P向XOZ平面投影得到的垂足，P′′是P向XOY平面投影得到的垂足，OP与Z轴的夹角即为OP′′与X轴正方向的夹角即为θ′；由图5可推出OP'与X轴正方向的夹角OP与Y轴正方向的夹角

（4）将球面坐标按经纬映射进行展开： 

按地理常识对经纬度进行定义：北纬为位于x轴上方的点，南纬为位于x轴下方的点，赤道为位于x轴上的点；西经为位于y轴左边的点，东经为位于y轴右边的点； 

经度的计算公式： 

纬度的计算公式： 

以点p为例，该点对应的极坐标为(r,θ)，通过公式(3)可得出其球面坐标 利用公式(6)(7)计算出经度ξ和纬度σ，在图6可以按照这两个坐标找到其对应的校正点；对图像中每个像素都这样计算，即可将鱼眼图像还原。