CN103996173A - 一种基于变长轴椭圆拟合的鱼眼图像校正方法 - Google Patents

Abstract

本发明提出了一种基于变长轴椭圆拟合的鱼眼图像校正方法，建立变长轴椭圆拟合校正模型，该模型基于经纬映射校正算法，同时调节经度长轴参数和纬度长轴参数，得到最终变长轴椭圆拟合校正模型，根据鱼眼图像的像素点坐标，利用变长轴椭圆拟合校正模型，得到鱼眼图像在像素坐标下的对应像素点坐标，得到鱼眼校正图像。校正过程采用表格映射全程记录像素点的映射情况，得到最终的校正图像，具有算法简洁、实时性强的特点，易于嵌入式设备和移动式设备的移植。

Description

一种基于变长轴椭圆拟合的鱼眼图像校正方法

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种基于变长轴椭圆拟合的鱼眼图像校正方法。

背景技术

鱼眼镜头属于一种超广角镜头，为使镜头达到最大的视角，镜头的前镜片直径很短且呈抛物状向镜头前部凸出。鱼眼镜头焦距短、视角大，其成像点与理想成像点之间存在几何光学误差，也称为畸变。在相机与镜头组合的实际光学成像系统中，畸变产生的原因主要分为两类：径向畸变、偏心畸变。径向畸变是指径向曲率的变化引起实际成像点径向偏离理想成像点，这种变形在离光学中心点越远时，其畸变量往往越大，正的径向变形量会引起点向远离图像中心的方向移动，其比例系数增大，产生枕形畸变；负的径向变形量会引起点向靠近图像中心的方向移动，其比例系数减小，产生桶形畸变。偏心畸变是由于装配误差，组成光学系统的多个镜组不可能完全共线，偏心畸变是一种融合径向畸变和切向畸变的混合畸变。

鱼眼图像校正本质上是图像的空间变换处理，经过摄像机标定得到相机的内参和外参，利用相机的参数建立鱼眼图像和校正图像中对应像素点对位置关系的函数。鱼眼镜头校正算法总体上可以分为三大类，第一类是通过球面透视投影等几何约束寻找目标函数，第二类是通过摄相机标定得到相机内参和外参实现校正的目的，第三类则是通过神经网络等的训练建立自适应的目标函数。

其中，基于三维标定模块或平面模板中的特征点的3D空间坐标与图像坐标之间的映射关系对摄像机的内外参数进行标定，再运用内参数实现畸变校正的方法缺点在于内参和外参的确定依靠标定板特征点的精确提取，而在实际的标定实验中往往存在特征点不易选取、不易提取的问题，这导致了通过标定得到的相机内参和外参的不准确性。另一种方法通过球面透视投影等几何约束寻找目标函数，球面透视投影校正能够解决常规校正算法仅能针对畸变图像进行局部校正的问题，是将镜头前的景象看作是在一个球面上，经过投影后映射成平面，在镜头前景象景深相差较大时，球面透视投影校正只是对畸变中心附近的图像有较好的校正效果，但是在边缘处的景象仍然存在校正的畸变。将优化算法引入到鱼眼图像畸变校正的研究中是近年来图像领域的一个新方向，针对畸变图像信息量大、特征点多和数量多的特点，把原图像与畸变图像像素位置点看作为一个黑箱模型，选取大量原图像与畸变图像进行样本训练，得到畸变图像与原图像畸变的对应关系，能够较快地进行畸变图像校正，替代复杂精细的摄像机参数的标定。然而，神经网络等优化算法存在算法复杂、实时性不足的问题，难以进行嵌入式设备和移动式设备的移植。而且，由于优化算法是一个黑箱模型，图像样本的选取对于训练后的校正映射关系影响很大，如果选取的样本典型性不强，那么通过优化算法得到的校正图像将导致过度校正或校正不足的情况。

发明内容

针对现有技术存在的不足，本发明提供了一种基于变长轴椭圆拟合的鱼眼图像校正方法。

本发明的技术方案是：

一种基于变长轴椭圆拟合的鱼眼图像的自校正方法，包括以下步骤：

步骤1、将彩色鱼眼图像转化为灰度鱼眼图像。

步骤2、将灰度鱼眼图像全局灰度平均值作为二值化阈值，对灰度鱼眼图像进行二值化处理，得到二值化图像，二值化图像中的两侧灰度值不同的像素点作为边界像素点，各边界像素点构成边界像素点集。

步骤3、利用最小二乘拟合圆方法对边界像素点集中各边界像素点进行拟合，拟合出的圆心为鱼眼图像的畸变中心，拟合出的圆的半径为鱼眼图像的畸变半径。

步骤4、建立基于经纬映射畸变函数的变长轴椭圆拟合校正模型，该模型用来描述鱼眼图像像素坐标下的畸变中心坐标、鱼眼图像像素坐标下的像素点坐标及校正后的图像像素坐标下的像素点坐标之间的关系。

步骤4.1、建立基于经纬映射畸变函数的变长轴椭圆拟合校正模型：

$u=u_0+(u^{\′}-u_0)\·\frac{1}{\sqrt{1-u^{\′2}/\mathrm{\λ}{a}^2}}$

$v=v_0+(v^{\′}-v_0)\·\frac{1}{\sqrt{1-v^{\′2}/\mathrm{\μ}{a}^2}}$

其中(u₀,v₀)为鱼眼图像像素坐标下畸变中心坐标，(u',v')为鱼眼图像像素坐标下像素点坐标，(u,v)为(u',v')对应的校正图像像素坐标下像素点坐标，a是鱼眼图像畸变半径，λ为经度长轴参数和μ为纬度长轴参数。

步骤4.2、调节经度长轴参数和纬度长轴参数，以将二值化图像中的边界校正成直线为准，确定调节经度长轴参数和纬度长轴参数的值。

步骤4.3、得到最终变长轴椭圆拟合校正模型。

步骤5、根据鱼眼图像的像素点坐标，利用变长轴椭圆拟合校正模型，得到鱼眼图像在像素坐标下的对应像素点坐标，得到鱼眼校正图像。

本发明的有益效果是：本发明基于经纬映射函数，同时在经度和纬度上调节变长轴椭圆的长轴长，利用参数调节法逐渐拟合任意鱼眼图像在经度和纬度上的畸变系数，即经度长轴系数和纬度长轴系数，校正过程可以采用表格映射全程记录像素点的映射情况，得到最终的映射表格，具有算法简洁、实时性强的特点，易于嵌入式设备和移动式设备的移植。

附图说明

图1为本发明具体实施方式的基于变长轴椭圆拟合的鱼眼图像校正方法中的流程图；

图2为本发明具体实施方式的基于变长轴椭圆拟合的鱼眼图像校正方法中记录的二值化图像的边界像素点集；

图3为本发明具体实施方式的基于变长轴椭圆拟合的鱼眼图像校正方法中最小二乘法拟合圆方法得到拟合后的边界；

图4为本发明具体实施方式的基于变长轴椭圆拟合的鱼眼图像校正方法中的鱼眼图像校正效果图。

具体实施方式

下面结合附图对本发明具体实施方式进行详细说明。

本实施方式的软件环境为WINDOWS7系统，仿真环境为MATLAB R2014a，处理器为第二代酷睿i5-2410。

本实施方式的基于变长轴椭圆拟合的鱼眼图像校正方法，如图1所示，包括以下步骤：

步骤1、将彩色鱼眼图像转化为灰度鱼眼图像。

由于彩色图像信息量大且灰度特征不明显，增加了算法的处理负担，本实施方式将彩色鱼眼图用MATLAB R2014a系统灰度转化函数转化为灰度鱼眼图像，灰度图像像素为640×480。

步骤2、将灰度鱼眼图像全局灰度平均值作为二值化阈值，对灰度鱼眼图像进行二值化处理，得到二值化图像，二值化图像中的两侧灰度值不同的像素点作为边界像素点，各边界像素点构成边界像素点集。

设灰度鱼眼图像灰度为f(x,y)，二值化后图像灰度为g(x,y)：

$g(x,y)=\left\{\begin{array}{cc}0,& f(x,y)<\mathrm{Threshold}\\ 255,& f(x,y)\&GreaterEqual;\mathrm{Threshold}\end{array}\right.---\left(1\right)$

Threshold为二值化阈值，等于全局灰度平均值，本次根据图像全局灰度大小确定Threshold＝122。

灰度鱼眼图像中像素点灰度大于Threshold，则二值化图像像素点为255，灰度鱼眼图像中像素点灰度小于Threshold，则二值化图像像素点为0。

当二值化后图像某像素点左侧像素点灰度值g(x,y)为255且右侧像素点灰度值为0或者某像素点左侧像素点灰度值为0且右侧像素点灰度值为255时判断该像素点为边界点，本实施方式获得二值化图像的边界像素点集如图2所示，边界点总数为960。

步骤3、利用最小二乘拟合圆方法对边界像素点集中各边界像素点进行拟合，拟合出的圆心为鱼眼图像的畸变中心，拟合出的圆的半径为鱼眼图像的畸变半径。

设待拟合的圆方程为

x²+y²+mx+ny+c＝0

                                            (2)

其中，m、n、c分别为待拟合圆的参数。

点(x_i,y_i)到圆心的平方和与半径平方的差为

$d_i=x_i^2+y_i^2+{\mathrm{mx}}_i+{\mathrm{ny}}_i+c---\left(3\right)$

令Q(m,n,c)为d_i的平方和：

$Q(m,n,c)=\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{d}_i=\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{\left[(x_i^2+y_i^2+{\mathrm{mx}}_i+{\mathrm{ny}}_i+c)\right]}^2---\left(4\right)$

其中N为边界点个数。

利用偏导数为零求得m、n、c，即

$\left\{\begin{array}{c}\frac{\&PartialD;Q(m,n,c)}{\&PartialD;m}=\mathrm{\&Sigma;}2(x_i^2+y_i^2+{\mathrm{mx}}_i+{\mathrm{ny}}_i+c)x_i=0\\ \frac{\&PartialD;Q(m,n,c)}{\&PartialD;n}=\mathrm{\&Sigma;}2(x_i^2+y_i^2+{\mathrm{mx}}_i+{\mathrm{ny}}_i+c)y_i=0\\ \frac{\&PartialD;Q(m,n,c)}{\&PartialD;c}=\mathrm{\&Sigma;}2(x_i^2+y_i^2+{\mathrm{mx}}_i+{\mathrm{ny}}_i+c)=0\end{array}\right.---\left(5\right)$

解线性方程组(4)，令

$\begin{array}{c}C=N\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i^2-{\left(\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i\right)}^2\\ D=N\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i{y}_i-\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i\\ E=N\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i^3+N\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i{y}_i^2-\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}(x_i^2+y_i^2)\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i\\ F=N\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i^2-{\left(\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i\right)}^2\\ G=N\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i^3+N\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i^2{y}_i-\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}(x_i^2+y_i^2)\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i\end{array}---\left(6\right)$

解得m、n、c为

$\begin{array}{c}m=\frac{\mathrm{GD}-\mathrm{EF}}{\mathrm{CF}-D^2}\\ n=\frac{\mathrm{GF}-\mathrm{ED}}{D^2-\mathrm{FC}}\\ c=-\frac{\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}(x_i^2+y_i^2)+a\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i+b\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i}{N}\end{array}---\left(7\right)$

那么该鱼眼图像的畸变中心u₀、v₀和畸变半径R分别为：

$\left\{\begin{array}{c}{u}_0=-\frac{m}{2}\\ v_0=-\frac{n}{2}\\ R=\frac{1}{2}\sqrt{m^2+n^2-4c}\end{array}\right.---\left(8\right)$

本实施方式将960个边界点代入公式(7)，得到m＝-638,n＝-442,c＝55939，代入公式(8)，得到畸变中心(u₀,v₀)＝(329,221)，畸变半径R＝318。最小二乘拟合圆方法得到拟合后的边界如图3所示。

步骤4、建立基于经纬映射畸变函数的变长轴椭圆拟合校正模型，该模型用来描述鱼眼图像像素坐标下的畸变中心坐标、鱼眼图像像素坐标下的像素点坐标及校正后的图像像素坐标下的像素点坐标之间的关系。

步骤4.1、建立经纬映射畸变函数，该函数用来描述鱼眼图像中的像素点坐标与校正图像中的像素点坐标的函数对应关系，将鱼眼图像中的像素点按经纬度映射到一个矩形纹理图像上，经度映射成矩形的水平坐标，纬度映射成垂直坐标。

将鱼眼图像定位在经度图中，方程为：

$\frac{y^2}{a^2}+\frac{x^2}{b^2}=1---\left(9\right)$

其中a是鱼眼图像长轴的半径，b是鱼眼图像宽轴的半径。当y＝yk，由公式(9)可知

$x_k=b\&CenterDot;\sqrt{1-y_k^2/a^2}---\left(10\right)$

若k点坐标(x_k,y_k)，校正后坐标k'点坐标(b,y_k)，同理可知，h点坐标(x_h,y_h)，校正后h'点坐标(b,y_h)。点P(x,y)为图像上任意一点，P(x₁,y₁)为P(x,y)对应的校正点，那么经纬映射畸变函数为：

$\frac{x}{x_1}=\sqrt{1-y^2/a^2}---\left(11\right)$

在像素坐标系下的校正公式(12)：

$u=u_0+(u^{\&prime;}-u_0)\&CenterDot;\frac{1}{\sqrt{1-u^{\&prime;2}/a^2}}$

v＝v′  (12)

经纬映射模型只是在经度上进行校正，当把经纬映射模型同时应用于经度和纬度上进行校正时，像素坐标系下的校正公式为

$u=u_0+(u^{\&prime;}-u_0)\&CenterDot;\frac{1}{\sqrt{1-u^{\&prime;2}/a^2}}$

$v=v_0+(v^{\&prime;}-v_0)\&CenterDot;\frac{1}{\sqrt{1-v^{\&prime;2}/a^2}}---\left(13\right)$

其中(u₀,v₀)为鱼眼图像像素坐标下畸变中心坐标，(u',v')为鱼眼图像像素坐标下像素点的坐标，(u,v)为(u',v')对应的校正图像像素坐标系下的像素点的坐标，鱼眼图像长轴的半径a等于畸变半径R＝318。

针对未知参数的鱼眼镜头，由于经纬映射畸变函数中长轴a的系数为1，无法根据鱼眼镜头畸变角度的大小进行调节，用经纬映射模型进行校正后会产生比较严重的过度校正或校正程度不足的情况。

因此本实施方式提出通过调节经纬图中长轴a系数的方法拟合出鱼眼图像的畸变模型：基于经纬映射畸变函数的变长轴椭圆拟合校正模型。当鱼眼镜头畸变角度较小时，鱼眼图像的畸变越小，即畸变图像中的点偏离对应函数坐标系的图像点距离越小，那么公式(11)中对应的经纬映射畸变函数越小，长轴a越大，从而当鱼眼镜头畸变角度较小时，长轴a的值越大；当鱼眼镜头畸变角度较大时，鱼眼图像的畸变越大，即畸变图像中的点偏离对应函数坐标系的图像点距离越大，那么公式(11)中对应的经纬映射畸变函数越大，长轴a越小，从而当鱼眼镜头畸变角度较大时，长轴a的值越小。

建立变长轴椭圆拟合校正模型，设λ和μ分别为经度需要调节的长轴的系数和纬度需要调节的长轴的系数，由上述利用改变长轴a系数的方法拟合出鱼眼图像畸变系数的思想和公式(11)可以得到变长轴椭圆拟合校正模型：

$x_1=x\&CenterDot;\frac{1}{\sqrt{1-y^2/\mathrm{\&lambda;}{a}^2}}$

$y_1=y\&CenterDot;\frac{1}{\sqrt{1-x^2/\mathrm{\&mu;}{a}^2}}---\left(14\right)$

本实施方式将图像坐标系下的校正公式转化为像素坐标系下公式，得出像素坐标下的变长轴椭圆拟合的鱼眼图像校模型：

$u=u_0+(u^{\&prime;}-u_0)\&CenterDot;\frac{1}{\sqrt{1-u^{\&prime;2}/\mathrm{\&lambda;}{a}^2}}$

$v=v_0+(v^{\&prime;}-v_0)\&CenterDot;\frac{1}{\sqrt{1-v^{\&prime;2}/\mathrm{\&mu;}{a}^2}}---\left(15\right)$

步骤4.2、调节经度长轴参数和纬度长轴参数，以将二值化图像中的边界校正成直线为准，确定调节经度长轴参数和纬度长轴参数的值。

根据实际镜头参数的大小，经度长轴参数λ和纬度长轴参数μ的取值范围为0.5～2，当校正图像中的边界的竖线和横线与直线相差2～5个像素点时经度长轴参数λ和纬度长轴参数μ为最佳。本实施方式中鱼眼图像最佳参数为λ＝1.12,μ＝1.35。

步骤4.3、得到最终变长轴椭圆拟合校正模型。

步骤5、根据鱼眼图像的像素点坐标，利用变长轴椭圆拟合校正模型，得到鱼眼图像在像素坐标下的对应像素点坐标，得到鱼眼校正图像。

将得到的长轴参数λ＝1.12,μ＝1.35和畸变图像的每一个像素点代入公式(15)，得到畸变图像在像素坐标系下的每一个对应校正坐标点，生成鱼眼图像像素点与校正图像像素点映射表。在校正相同畸变角度鱼眼镜头拍摄的图像时可以通过查表法将畸变图像每一像素点转化为校正图像对应的像素点。

Claims (1)

1.一种基于变长轴椭圆拟合的鱼眼图像校正方法，其特征在于，包括以下步骤：

步骤1、将彩色鱼眼图像转化为灰度鱼眼图像；

步骤2、将灰度鱼眼图像全局灰度平均值作为二值化阈值，对灰度鱼眼图像进行二值化处理，得到二值化图像，二值化图像中的两侧灰度值不同的像素点作为边界像素点，各边界像素点构成边界像素点集；

步骤3、利用最小二乘拟合圆方法对边界像素点集中各边界像素点进行拟合，拟合出的圆心为鱼眼图像的畸变中心，拟合出的圆的半径为鱼眼图像的畸变半径；

步骤4、建立基于经纬映射畸变函数的变长轴椭圆拟合校正模型，该模型用来描述鱼眼图像像素坐标下的畸变中心坐标、鱼眼图像像素坐标下的像素点坐标及校正后的图像像素坐标下的像素点坐标之间的关系；

步骤4.1、建立基于经纬映射畸变函数的变长轴椭圆拟合校正模型：

$u=u_0+(u^{\&prime;}-u_0)\&CenterDot;\frac{1}{\sqrt{1-u^{\&prime;2}/\mathrm{\&lambda;}{a}^2}}$

$v=v_0+(v^{\&prime;}-v_0)\&CenterDot;\frac{1}{\sqrt{1-v^{\&prime;2}/\mathrm{\&mu;}{a}^2}}$

其中(u₀,v₀)为鱼眼图像像素坐标下畸变中心坐标，(u',v')为鱼眼图像像素坐标下像素点坐标，(u,v)为(u',v')对应的校正图像像素坐标下像素点坐标，a是鱼眼图像畸变半径，λ为经度长轴参数和μ为纬度长轴参数；

步骤4.2、调节经度长轴参数和纬度长轴参数，以将二值化图像中的边界校正成直线为准，确定调节经度长轴参数和纬度长轴参数的值；

步骤4.3、得到最终变长轴椭圆拟合校正模型；

步骤5、根据鱼眼图像的像素点坐标，利用变长轴椭圆拟合校正模型，得到鱼眼图像在像素坐标下的对应像素点坐标，得到鱼眼校正图像。