CN104240236A - 一种鱼眼镜头标定后鱼眼图像校正的方法 - Google Patents

Abstract

本发明属于数字图像处理领域，公开一种鱼眼镜头标定后鱼眼图像校正的方法，首先建立了完整的鱼眼摄像机投影和畸变模型，该模型是一种通用的鱼眼模型，使用自制的平面标定板并利用该通用模型实现鱼眼摄像机的模型参数的标定，并利用标定后的镜头畸变参数把鱼眼圆形畸变图像还原为满足人眼视觉效果的透视图像。本发明是基于平面棋盘格的鱼眼镜头标定和鱼眼畸变校正方法，非常适用于视觉导航、移动监控等场合。本发明提出的方法，不仅可以适用于圆形鱼眼图像还可以对不完整的鱼眼图像进行校正。

Description

一种鱼眼镜头标定后鱼眼图像校正的方法

技术领域

本发明涉及数字图像处理技术领域，更具体地，涉及一种鱼眼镜头标定后畸变图像还原的方法。

背景技术

鱼眼镜头一次就能获取接近半球面的场景信息，使用方便，但鱼眼镜头所获取的鱼眼图像具有非常严重的变形，较大的图像畸变不利于人眼观察和机器识别。想要利用这些具有严重变形图像的信息，就需要将发生畸变的图像校正为透视投影图像。在许多应用中，对畸变进行校正是必要环节，而校正处理的算法的前处理部分一般是摄像机标定获得模型参数。摄像机标定是实现鱼眼畸变校正的首要环节，是鱼眼镜头在图像畸变校正中的关键研究点；鱼眼镜头标定算法是一类精确恢复图像畸变的方法，它通过建立鱼眼镜头特定的成像模型，然后用标定装置得到鱼眼镜头变形校正参数的先验信息，最后利用获得的校正参数来校正图像，由于考虑了鱼眼成像的各种畸变，相对更加精确。一般标定的算法主要针对特定的鱼眼镜头，并且需要相应的标定模版，如平面棋盘版或网格版等。从上文的介绍可以看出，通过鱼眼镜头组成的鱼眼摄像机拍摄的图片需要进行特殊处理才符合人眼视觉或机器识别，摄像机标定和鱼眼图像的畸变校正是处理的方法之一，也是鱼眼镜头在各个领域应用中的基础。

国内也有很多鱼眼校正算法把镜头标定用图像处理来替代，而忽略镜头标定这一环节。它们主要集中精力在鱼眼圆形图像的变形处理上，通过图像预处理来进行点提取，直线提取，边缘检测等来获取畸变参数，由于处理方法不涉及成像模型，参数也是基础模型下的理想化的参数，误差大，虽然可以达到校正效果，但结果不理想。从另一方面看，通过图像预处理的方法无形中也加大了算法的复杂性。

发明内容

本发明目的是解决对鱼眼镜头所成影像造成的畸变的问题，提供一种鱼眼镜头标定后鱼眼图像校正的方法，是对鱼眼镜头进行标定和标定后对其畸变图像校正的方法。

为了解决上述问题，本发明的技术方案为：

一种鱼眼镜头标定后鱼眼图像校正的方法，包括：

S1.建立完整的鱼眼摄像机投影和畸变模型，并在模型上建立鱼眼成像关系；

S2.由鱼眼镜头与配套摄像模块组成鱼眼摄像机，并自制平面棋盘标定板，再利用鱼眼摄像机拍摄平面棋盘格采集图片来标定鱼眼镜头；

S3.鱼眼镜头标定后，利用相关标定参数对鱼眼畸变图像进行畸变校正。

其中，步骤S1的建立完整的鱼眼摄像机投影和畸变模型的具体过程为：

设空间场景点X＝[X，Y，Z，1]在鱼眼图像上的成像点为p＝[u，v]^τ；鱼眼摄像机投影成像的完整模型由以下方程描述：

$\mathrm{\λ}\left[\begin{array}{c}u\\ v\\ f\left(\mathrm{\ρ}\right)\end{array}\right]=\mathrm{PX}---\left(1\right)$

其中λ为参数，λ＞0；P称之为投影矩阵，P＝[R|T]，R∈S0(3)，f(ρ)代表鱼眼镜头的曲面多项式模型，f(ρ)中的参数为(a₀a₁，a₂，a₃，a₄)，公式描述为：

f(ρ)＝a₀+a₁ρ+a₂ρ²+a₃ρ³+a₄ρ⁴         (2)

其中ρ对应于鱼眼图像像素点到成像中心的距离，

ρ关于θ的多项式称为畸变多项式，ρ关于θ的多项式模型表示为：

ρ＝b₀+b₁θ+b₂θ²+b₃θ³+b₄θ⁴+...+b_nθⁿ       (3)

其中θ是入射光线与单位球Z轴正方向的夹角；多项式系数称之为畸变系数，表示为b₀，b₁，b₂，b₃，b₄，...；

实际中生活中，摄像机安装会带来了离心畸变和图像传感器的误差，另外图像传感器一般不是正方形而是矩形，这些情况是真实存在的，难以忽略其影响。基于以上考虑，本发明通过增加参数来描述更精确的模型；即通过一个仿射变换达到精确描述的目地，即：

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]+\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]---\left(4\right)$

其中c，d，e为参数，(u′，v′)为真实坐标，(u，v)为理想坐标，(x_c，y_c)为图像中心坐标；

上式表示为：

u′＝Au+t          (5)

其中A∈R^2×2和t∈R， $A=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right],t=\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right];$

根据上面提出的模型，对鱼眼摄像机进行标定就是估计P＝[R|T]；a₀，a₁，a₂，a₃，a₄，A，t这些参数；其中矩阵R，T称之为外部参数；a₀，a₁，a₂，a₃，a₄、A，t称之为内部参数；要校正鱼眼畸变图像，只需要使用内部参数。

步骤S2的标定鱼眼镜头的步骤包括：

S21.自制平面棋盘标定板，鱼眼摄像机对棋盘标定板采集N幅图片，其中N＞＞1；读取所有的棋盘格拍摄图像；

S22.在每张棋盘格图像上自动选取棋盘格的黑白交叉顶点；

S23.估计外部参数和内部参数；

S24.线性优化，线性优化通过奇异值分解可以方便解决；

S25.中心提取，利用投影点的直观性，把A＝I和t＝0条件下的中心位置作为初始值，计算出新的中心位置；再使用计算的新中心位置作为下一次初始值，进行多次迭代，每一次计算投影误差，并求出均方误差，使误差满足需要的条件，并保证有局部最小值，从而确定优化后的中心位置；

S26.非线性优化，基于最大似然准优化获得的内外部参数，作为标定参数，选取需要的最终用于鱼眼图像校正使用。

上述步骤S23估计外部参数和内部参数的过程为：

拍摄平面标定板i幅图片，这样对于每一幅拍摄图片，能够得到：

$\begin{array}{c}{\mathrm{\λ}}_j^i{p}_j^i={\mathrm{\λ}}_j^i\left[\begin{array}{c}{u}_j^i\\ v_j^i\\ f\left({\mathrm{\ρ}}_j^i\right)\end{array}\right]\\ ={\mathrm{\λ}}_j^i\left[\begin{array}{c}{u}_j^i\\ v_j^i\\ a_0+a_1{\mathrm{\ρ}}_j^i+a_2{\mathrm{\ρ}}_j^{i2}+a_3{\mathrm{\ρ}}_j^{i3}+a_4{\mathrm{\ρ}}_j^{i4}\end{array}\right]\\ =P^i\·X_j^i\\ =\left[r_1^i{r}_2^i{r}_3^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 0\\ 1\end{array}\right]\\ =\left[r_1^i{r}_2^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 1\end{array}\right]\end{array}---\left(6\right)$

其中是Rⁱ的列向量；上标i表示第i幅标定板拍摄照片，下标j表示第i幅标定板照片的第j个点；X、Y分别为空间场景的横坐标和纵坐标；T为外部参数，

对式(6)两边进行叉乘运算，由于则：

$\begin{array}{c}{\mathrm{\λ}}_j^i{p}_j^i\×p_j^i=p_j^i\×\left[r_1^i{r}_2^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 1\end{array}\right]=0\\ \⇔\left[\begin{array}{c}{u}_j^i\\ v_j^i\\ a_0+a_1{\mathrm{\ρ}}_j^i+a_2{\mathrm{\ρ}}_j^{i2}+a_3{\mathrm{\ρ}}_j^{i3}+a_4{\mathrm{\ρ}}_j^{i4}\end{array}\right]\×\left[r_1^i{r}_2^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 1\end{array}\right]=0\end{array}$

对第i幅标定板图像上的第j个图像点p_j能够得到三个齐次方程，即：

第I式：v_j(r₃₁X_j+r₃₂Y_j+t₃)-g(ρ_j)(r₂₁X_j+r₂₂Y_j+t₂)＝0

第II式：g(ρ_j)(r₁₁X_j+r₁₂Y_j+t₁)-u_j(r₃₁X_j+r₃₂Y_j+t₃)＝0

第III式：u_j(r₂₁X_j+r₂₂Y_j+t₂)-v_j(r₁₁X_j+r₁₂Y_j+t₁)＝0

其中X_j，Y_j，Z_j和u_j，v_j是已知的，通过第III式求出r₁₁，r₁₂，r₂₁，r₂₂，t₁，t₂；

把所有待求项放入一个列向量H，即H＝[r₁₁，r₁₂，r₂₁，r₂₂，t₁，t₂]^τ；

L表示标定板上有L个点，把第III式改写为：

M·H＝0

其中 $M=\left[\begin{array}{cccccc}-v_1{X}_1& -{\text{v}}_1{Y}_1& u_1{X}_1& u_1{Y}_1& -v_1& u_1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ -v_L{X}_L& -v_L{Y}_L& u_L{X}_L& u_L{Y}_L& -v_L& u_L\end{array}\right)$

在||H||²＝1的条件下，通过最小平方准则最小化||M·H||²能够线性估计出H；由于r₁，r₂是标准正交，r₃₁，r₃₂也能够唯一的确定；然后对每一幅标定板图片确定外部参数：r₁₁，r₁₂，r₂₁，r₂₂，r₃₁，r₃₂，t₁，t₂；

再把所有待求项放入一个列向量，则第I式改写为：

$\begin{array}{c}\left[\begin{array}{cccccccc}{A}_j^1& A_j^1{\mathrm{\ρ}}_j^{1^2}& ...& A_j^1{\mathrm{\ρ}}_j^{1^4}& -v_j^1& 0& ...& 0\\ C_j^1& C_j^1{\mathrm{\ρ}}_j^{1^2}& ...& C_j^1{\mathrm{\ρ}}_j^{1^4}& -u_j^1& 0& ...& 0\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ A_j^K& A_j^K{\mathrm{\ρ}}_j^{K^2}& ...& A_j^K{\mathrm{\ρ}}_j^{K^4}& 0& 0& ...& -v_j^K\\ C_j^K& C_j^K{\mathrm{\ρ}}_j^{K^2}& ...& C_j^K{\mathrm{\ρ}}_j^{K^4}& 0& 0& ...& -u_j^K\end{array}\right]\·\left[\begin{array}{c}{a}_0\\ a_1\\ .\\ .\\ .\\ a_4\\ t_3^1\\ t_3^2\\ .\\ .\\ .\\ t_3^K\end{array}\right]\\ =\left[\begin{array}{c}{B}_j^1\\ D_j^1\\ .\\ .\\ .\\ B_j^K\\ D_j^K\end{array}\right]\end{array}$

其中

$A_j^i=r_{21}^i{X}_j^i+r_{22}^i{Y}_j^i+t_2^i,$

$B_j^i=v_j^i(r_{31}^i{X}_j^i+r_{32}^i{Y}_j^i),$

$C_j^i=r_{11}^i{X}_j^i+r_{12}^i{Y}_j^i+t_1^i,$

$D_j^i=u_j^i(r_{31}^i{X}_j^i+r_{32}^i{Y}_j^i).$

K表示对平面标定板的K次拍摄；求解以上方程，得到最小二乘解，确定参数a₀，a₁，a₂，a₃，a₄；

步骤S24的线性优化是通过线性优化的方法对得到的初始值进行线性优化；优化的方法通过线性最小化来实现，具体为：

第一步，使用内部参数a₀，a₁，a₂，a₃，a₄初始值代入第I式，第II式，第III式，通过求解第I式，第II式，第III式再次计算所有的外部参数r₁₁，r₁₂，r₂₁，r₂₂，r₃₁，r₃₂，t₁，t₂，t₃；将问题转化为求解齐次线性方程组问题，通过奇异值分解解决；

第二步，将第一步求解的外部参数代入第II式，第III式来进一步优化内部参数；同样，将问题转化为线性方程组的求解问题，通过伪逆矩阵解决。

上述步骤S25中的中心提取，实际中生活中要考虑加入仿射变换的影响，所以在A＝I和t＝0的条件下，图像中心坐标误差很大，需要进一步优化。优化算法主要利用投影点的直观性，把A＝I和t＝0条件下的中心位置作为初始值，计算出新的中心位置；再使用计算的新中心位置作为下一次初始值，进行多次迭代，每一次计算投影误差，并求出均方误差，使误差满足需要的条件，并保证有局部最小值，从而确定优化后的中心位置。通过这种迭代算法，虽然耗费了一定的时间，但实验结果表明：这个时间花费是可以忽略不计的，进行12次迭代大约耗时1秒。额外使用这种迭代算法的作用在于不仅可以确定于圆形鱼眼图像的中心，还可以得到不完整的鱼眼图像的中心，这样不仅可以适用于圆形鱼眼图像还可以对不完整的鱼眼图像进行校正。

在步骤S24和步骤S25中，线性优化仅仅获得了几何距离的最小值，这个是不精确的，也是没有实际意义的。因此，在这一步基于最大似然准则进一步优化获得的内外部参数。

即步骤S26的非线性优化是基于最大似然准则优化获得的内外部参数；

假设获得了K幅标定板的拍摄图片，每一幅图片上包含L个点；那么最大似然估计就是最小化函数：

$E=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\left|\right|u_j^u-\hat{u}(R^i,T^i,A,O_c,a_0,a_1,...a_4,X_j^i)\left|\right|}^2$

其中是场景点的投影；Rⁱ，Tⁱ描述标定阪的位置和方向；Rⁱ∈S0(3)，

最小化函数就是寻找合适的标定参数来最小化投影误差；使用Levenberg-Marquadt算法来最优化函数，这在MATLAB工具箱中可以方便使用lsqnonlin函数来进行最优化处理。Levenberg-Marquadt算法需要初始值，则采用使用步骤S24中获得的内外部参数作为初始值，矩阵A使用单位矩阵I作为初始值；中心位置O_c使用步骤S25中经过线性迭代后的值作为初始值；

设定初始值后，通过最大似然估计得到进一步优化后的内外部参数，这些参数即为标定参数，选取需要的最终用于鱼眼图像校正使用。

并且，步骤S3的标定后对鱼眼畸变图像进行校正的步骤包括：

S31.提取标定结果，对用于校正的参数以TXT的格式进行存储；

以TXT的格式的标定结果：曲面镜头模型多项式г的系数，表示为(a₀，a₁，a₂，a₃，a₄)，储存在数组SS中，SS＝[a₀，a₁，a₂，a₃，a₄]；鱼眼图像的中心坐标(x_c，y_c)即向量t；仿射变换参数c，d，e即矩阵A；

S32.空间坐标映射，通过步骤S1和S2提出的模型参数标定过程，得到鱼眼成像坐标与空间场景坐标的转换规律，根据这个关系将鱼眼图像对应于空间场景图，从而得到透视图；

通过步骤S31的多项式系数a₀，a₁，a₂，a₃，a₄得到曲面镜头模型多项式f(ρ)，f(ρ)代表鱼眼镜头的曲面模型，这是一个关于ρ的多项式函数，为了校正需要得到ρ关于θ的畸变多项式采用以下方式；

ρ关于θ的多项式系数，称之为畸变多项式系数，表示为b₀，b₁，b₂，b₃，b₄，...，为了求解畸变多项式系数，通过拟合多项式，设定一个循环来得到多项式的阶数，使拟合多项式误差小于0.01(ε≤0.01)即停止，获得最优参数；得到ρ关于θ的多项式，即

ρ＝b₀+b₁θ+b₂θ²+b₃θ³+b₄θ⁴+...+b_nθⁿ

那么，真实空间三维点P(X，Y，Z)映射为平面图像坐标p(x′，y′)，其变换关系如下：

设 $N=\sqrt{X^2+Y^2}$

当N＝0时，

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]$

此时，令N＝eps，即令N为无穷小；这样做是防止进行除法运算时被除数为0。

当N≠0时，

$\mathrm{\θ}=\arctan \frac{Z}{N}$

理想图像坐标：

$x=X\frac{\mathrm{\ρ}}{N}$

$y=Y\frac{\mathrm{\ρ}}{N}$

真实图像坐标：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]$

S33.双三次坐标插值。经过步骤S32空间变换得到需要的像素点，再利用插值的方法可以获得新像素坐标，将原输入图像坐标的像素值直接赋值给新坐标从而得到新坐标的像素，最后按新的坐标进行输出图像；

这是由于通过步骤S32的像素点的空间变换，可以把鱼眼圆形图像恢复为满足人眼效果的校正图像。注意到上述图像变形校正后在图像平面可能会产生小数点的像素，即步骤S32中平面图像坐标p(x′，y′)会产生小数坐标，这是不符合图像坐标要求的，需要插值技术。双三次插值是一个鲁棒性强的插值技术，但计算量更高。更加清晰的图像质量和更多的场景细节内容，免除了人为的再次增强图像质量和细节，故在本案中将该方法作为首选。如设定输出图像(640*480或者640*320)大小后建立空图像空像素图像，再通过坐标映射和双三次坐标插值获得新像素坐标，将原图像坐标的像素值直接赋值给新坐标从而得到输出图像。

S34.滤波，对步骤S33输出的图像进行滤波处理。是为了减少高频噪声，同时把校正后的图像降采样到VGA(640*480或者640*320)显示，在处理的最后一步加入5*5低通滤波器处理，去除噪声干扰，这样采样得到的图像才是清晰符合人眼视觉的图像，可以在硬件上显示。

与现有技术相比，本发明的有益效果：

本发明首先建立了完整的鱼眼摄像机投影和畸变模型。该模型是一种通用的鱼眼模型，使用自制的平面标定板并利用该通用模型实现鱼眼摄像机的模型参数的标定，提出了一种具有普适性的鱼眼摄像机标定方法，并利用标定后的镜头畸变参数把鱼眼圆形变形图像恢复成满足人眼效果的透视图像。本发明能标定市场上的大多数鱼眼镜头，只需利用自制的标定板就可进行精确标定，操作简单、效率高。畸变校正方法不仅可以适用于圆形鱼眼图像还可以对不完整的鱼眼图像进行校正。本发明可以使通过鱼眼镜头采集的图像得到快速、准确地畸变校正。

附图说明

图1为本发明第一实施例的流程图。

图2为本发明第一实施例中的鱼眼摄像机球面模型的示意图。

图3为本发明第一实施例中的标定板示意图。

图4为本发明第一实施例中的12幅棋盘格采集图像。

图5为本发明第一实施例中的选取了角点的标定板图像。

图6为本发明第一实施例中的整个校正算法的流程图

图7为本发明第一实施例中的多项式模型示意图。

图8为本发明第一实施例中的校正前后结果对比图。

具体实施方式

下面结合附图对本发明进一步说明。

鱼眼镜头标定后鱼眼图像校正方法的第一实施例

图1示出了本发明的方法的第一实施例完整过程。

步骤1：建立完整的鱼眼摄像机投影和畸变模型，并在模型上建立鱼眼成像关系；鱼眼摄像机的球面模型如图2示，设空间场景点X＝[X，Y，Z，1]在鱼眼图像上的成像点为p＝[u，v]^τ；鱼眼摄像机投影成像的完整模型由以下方程描述：

$\mathrm{\λ}\left[\begin{array}{c}u\\ v\\ f\left(\mathrm{\ρ}\right)\end{array}\right]=\mathrm{PX}---\left(1\right)$

其中λ为参数，λ＞0；P称之为投影矩阵，P＝[R|T]，R∈S0(3)，f(ρ)代表鱼眼镜头的曲面多项式模型，f(ρ)中的参数为(a₀a₁，a₂，a₃，a₄)，公式描述为：

f(ρ)＝a₀+a₁ρ+a₂ρ²+a₃ρ³+a₄ρ⁴

其中ρ对应于鱼眼图像像素点到成像中心的距离，

ρ关于θ的多项式称为畸变多项式，ρ关于θ的多项式模型表示为：

ρ＝b₀+b₁θ+b₂θ²+b₃θ³+b₄θ⁴+...+b_nθⁿ

其中θ是入射光线与单位球Z轴正方向的夹角；多项式系数称之为畸变系数，表示为b₀，b₁，b₂，b₃，b₄，...；

实际中生活中，摄像机安装会带来了离心畸变和图像传感器的误差，另外图像传感器一般不是正方形而是矩形，这些情况是真实存在的，难以忽略其影响。基于以上考虑，本发明通过增加参数来描述更精确的模型。非常容易的，通过一个仿射变换即可达到精确描述的目地，即：

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]+\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]$

其中c，d，e为参数，(u′，v′)为真实坐标，(u，v)为理想坐标，(x_c，y_c)为图像中心坐标。

上式也可以表示为：

u′＝Au+t

其中A∈R^2×2和t∈R

按照本专利提出的模型，对鱼眼摄像机进行标定就是估计P＝[R|T]；a₀，a₁，a₂，a₃，a₄，A，t这些参数。其中矩阵R，T称之为外部参数。a₀，a₁，a₂，a₃，a₄，A，t(即c，d，e，x_c，y_c)称之为内部参数。要校正鱼眼畸变图像，只需要使用内部参数即可。

步骤2：对鱼眼镜头进行标定，该步骤通过以下方式实现：

步骤2.1：使用如图3示的模版自制平面棋盘标定板，利用鱼眼摄像机对棋盘标定板采集12幅图片并读取所有的棋盘格拍摄图像，如图4示；

步骤2.2：在每张棋盘格图像上自动选取棋盘格的黑白交叉顶点，如图5示为其中一幅已经选取了角点的标定板图像；

步骤2.3：估计外部参数和内部参数。

拍摄平面标定板i幅图片，这样对于每一幅拍摄图片，可以得到：

$\begin{array}{c}{\mathrm{\λ}}_j^i{p}_j^i={\mathrm{\λ}}_j^i\left[\begin{array}{c}{u}_j^i\\ v_j^i\\ f\left({\mathrm{\ρ}}_j^i\right)\end{array}\right]\\ ={\mathrm{\λ}}_j^i\left[\begin{array}{c}{u}_j^i\\ v_j^i\\ a_0+a_1{\mathrm{\ρ}}_j^i+a_2{\mathrm{\ρ}}_j^{i2}+a_3{\mathrm{\ρ}}_j^{i3}+a_4{\mathrm{\ρ}}_j^{i4}\end{array}\right]\\ =P^i\·X_j^i\\ =\left[{r_1}^i{r}_2^i{r}_3^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 0\\ 1\end{array}\right]\\ =\left[{r_1}^i{r}_2^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 1\end{array}\right]\end{array}$

其中是Rⁱ的列向量。上标i表示第i幅标定板拍摄照片，下标j表示第i幅标定板照片的第j个点。

上式两边进行叉乘运算，因为所以可得：

$\begin{array}{c}{\mathrm{\λ}}_j^i{p}_j^i\×p_j^i=p_j^i\×\left[{r_1}^i{r}_2^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 1\end{array}\right]=0\\ \⇔\begin{array}{}\end{array}\left[\begin{array}{c}{u}_j^i\\ {v_j^i}_{}\\ a_0+a_1{\mathrm{\ρ}}_j^i+a_2{\mathrm{\ρ}}_j^{i2}+a_3{\mathrm{\ρ}}_j^{i3}+a_4{\mathrm{\ρ}}_j^{i4}\end{array}\right]\×\left[{r_1}^i{r}_2^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 1\end{array}\right]=0\end{array}$

第I式：v_j(r₃₁X_j+r₃₂Y_j+t₃)-g(ρ_j)(r₂₁X_j+r₂₂Y_j+t₂)＝0

第II式：g(ρ_j)(r₁₁X_j+r₁₂Y_j+t₁)-u_j(r₃₁X_j+r₃₂Y_j+t₃)＝0

第III式：u_j(r₂₁X_j+r₂₂Y_j+t₂)-v_j(r₁₁X_j+r₁₂Y_j+t₁)＝0

其中X_j，Y_j，Z_j和u_j，v_j是已知的，通过第III式求出r₁₁，r₁₂，r₂₁，r₂₂，t₁，t₂；

把所有待求项放入一个列向量H，即H＝[r₁₁，r₁₂，r₂₁，r₂₂，t₁，t₂]^τ；

L表示标定板上有L个点，把第III式改写为：

M·H＝0

其中 $M=\left[\begin{array}{cccccc}-v_1{X}_1& -v_1{Y}_1& u_1{X}_1& u_1{Y}_1& -v_1& u_1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ -v_L{X}_L& -v_L{Y}_L& u_L{X}_L& u_L{Y}_L& -v_L& u_L\end{array}\right)$

在||H||²＝1的条件下，通过最小平方准则最小化||M·H||²能够线性估计出H；由于r₁，r₂是标准正交，r₃₁，r₃₂也能够唯一的确定；这样通过第一个步骤，对每一幅标定板图片就可以确定外部参数：

r₁₁，r₁₂，r₂₁，r₂₂，r₃₁，r₃₂，t₁，t₂。

再把所有待求项放入一个列向量，则第I式改写为：

$\begin{array}{c}\left[\begin{array}{cccccccc}{A}_j^1& A_j^1{\mathrm{\ρ}}_j^{1^2}& ...& A_j^1{\mathrm{\ρ}}_j^{1^4}& -v_j^1& 0& ...& 0\\ C_j^1& C_j^1{\mathrm{\ρ}}_j^{1^2}& ...& C_j^1{\mathrm{\ρ}}_j^{1^4}& -u_j^1& 0& ...& 0\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ A_j^K& A_j^K{\mathrm{\ρ}}_j^{K^2}& ...& A_j^K{\mathrm{\ρ}}_j^{K^4}& 0& 0& ...& -v_j^K\\ C_j^K& C_j^K{\mathrm{\ρ}}_j^{K^2}& ...& C_j^K{\mathrm{\ρ}}_j^{K^4}& 0& 0& ...& -u_j^K\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ .\\ .\\ .\\ a_4\\ t_3^1\\ t_3^2\\ .\\ .\\ .\\ t_3^K\end{array}\right]\\ =\left[\begin{array}{c}{B}_j^1\\ D_j^1\\ .\\ .\\ .\\ B_j^K\\ D_j^K\end{array}\right]\end{array}$

其中

$A_j^i=r_{21}^i{X}_j^i+r_{22}^i{Y}_j^i+t_2^i,$

$B_j^i=v_j^i(r_{31}^i{X}_j^i+r_{32}^i{Y}_j^i),$

$C_j^i=r_{11}^i{X}_j^i+r_{12}^i{Y}_j^i+t_1^i\text{,}$

$D_j^i=u_j^i(r_{31}^i{X}_j^i+r_{32}^i{Y}_j^i).$

K表示对平面标定板的K次拍摄；求解以上方程，得到最小二乘解，确定参数a₀，a₁，a₂，a₃，a₄。

步骤2.4：线性优化；

在这一步通过线性优化的方法来对得到的初始值进行线性优化。优化的方法通过线性最小化来实现，具体思路如下：

第一步，使用内部参数a₀，a₁，a₂，a₃，a₄初始值代入第I式，第II式，第III式，通过求解步骤2.3中的第I式，第II式，第III式，再次计算所有的外部参数r₁₁，r₁₂，r₂₁，r₂₂，r₃₁，r₃₂，t₁，t₂，t₃。这样问题就转化为求解齐次线性方程组问题，通过奇异值分解可以方便解决。

第二步，将第一步求解的外部参数代入步骤2.3中的第II式，第III式来进一步优化内部参数。同样，问题转化为线性方程组的求解问题，通过伪逆矩阵可以解决。

步骤2.5：中心提取。本发明步骤1已经指出，实际中生活中要考虑加入仿射变换的影响，所以在A＝I和t＝0的条件下，图像中心坐标误差很大，需要进一步优化。优化算法主要利用投影点的直观性，把A＝I和t＝0条件下的中心位置作为初始值，计算出新的中心位置；再使用计算的新中心位置作为下一次初始值，进行多次迭代，每一次计算投影误差，并求出均方误差，使误差满足需要的条件，并保证有局部最小值，从而确定优化后的中心位置。通过这种迭代算法，虽然耗费了一定的时间，但实验结果表明：这个时间花费是可以忽略不计的，进行12次迭代大约耗时1秒。额外使用这种迭代算法的作用在于不仅可以确定于圆形鱼眼图像的中心，还可以得到不完整的鱼眼图像的中心，这样不仅可以适用于圆形鱼眼图像还可以对不完整的鱼眼图像进行校正。

步骤2.6：非线性优化。在步骤2.4和步骤2.5中，线性优化仅仅获得了几何距离的最小值，这个是不精确的，也是没有实际意义的。因此，在这一步基于最大似然准则进一步优化获得的内外部参数。

假设获得了K幅标定板的拍摄图片，每一幅图片上包含L个点。那么最大似然估计就是最小化函数：

$E=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\left|\right|u_j^u-\hat{u}(R^i,T^i,A,O_c,a_0,a_1,...a_4,X_j^i)\left|\right|}^2$

其中是场景点的投影；Rⁱ，Tⁱ描述标定板的位置和方向；Rⁱ∈S0(3)，

最小化函数就是寻找合适的标定参数来最小化投影误差。使用Levenberg-Marquadt算法来最优化函数，这在MATLAB工具箱中可以方便使用lsqnonlin函数来进行最优化处理。Levenberg-Marquadt算法需要初始值，使用步骤2.4中获得的内外部参数作为初始值，另外矩阵A使用单位矩阵I作为初始值；中心位置O_c使用步骤2.5中线性迭代后的值作为初始值。设定初始值后，通过最大似然估计可以得到进一步优化后的内外部参数，这些参数就是得到的标定参数，选取需要的最终用于鱼眼图像校正使用。

实验结果如表1所示，

表1 鱼眼镜头标定结果

步骤3：对鱼眼畸变图像进行校正，具体步骤通过如图6所示方式实现，详述如下：

步骤3.1：提取标定结果，对用于校正的参数以TXT的格式进行存储。

以TXT的格式的标定结果：曲面镜头模型多项式Г的系数，表示为(a₀，a₁，a₂，a₃，a₄)，储存在数组SS中，SS＝[a₀，a₁，a₂，a₃，a₄]；鱼眼图像的中心坐标(x_c，y_c)即向量t；仿射变换参数c，d，e即矩阵A；

步骤3.2：空间坐标映射。通过步骤1和2提出的模型参数标定过程，可以得到鱼眼成像坐标与空间场景坐标的转换规律，根据这个关系可以将鱼眼图像对应于空间场景图，从而得到透视图。

空间坐标映射的具体步骤如下。

通过步骤3.1的多项式系数a₀，a₁，a₂，a₃，a₄很容易得到曲面镜头模型多项式f(ρ)，f(ρ)代表鱼眼镜头的曲面模型，这是一个关于ρ的多项式函数，为了校正需要得到ρ关于θ的畸变多项式采用以下方式；

ρ关于θ的多项式系数，称之为畸变多项式系数，表示为b₀，b₁，b₂，b₃，b₄，...，为了求解畸变多项式系数，通过拟合多项式，设定一个循环来得到多项式的阶数，使拟合多项式误差小于0.01(ε≤0.01)，即停止，获得最优参数；即

ρ＝4.62+9.53θ+26.78θ²-9.25θ³+77.78θ⁴+232.08θ⁵

多项式模型示意图如图7所示。

那么，真实空间三维点P(X，Y，Z)映射为平面图像坐标p(x′，y′)，其变换关系如下：

设 $N=\sqrt{X^2+Y^2}$

当N＝0时，

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]$

此时，令N＝eps，即令N为无穷小；

当N≠0时，

$\mathrm{\θ}=\arctan \frac{Z}{N}$

理想图像坐标：

$x=X\frac{\mathrm{\ρ}}{N}$

$y=Y\frac{\mathrm{\ρ}}{N}$

真实图像坐标：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]$

步骤3.3：双三次坐标插值。通过步骤3.2的像素点的空间变换，可以把鱼眼圆形图像恢复为满足人眼效果的校正图像。注意到上述图像变形校正后在图像平面可能会产生小数点的像素，即步骤3.2中平面图像坐标p(x′，y′)会产生小数坐标，这是不符合图像坐标要求的，需要插值技术。双三次插值是一个鲁棒性强的插值技术，但计算量更高。更加清晰的图像质量和更多的场景细节内容，免除了人为的再次增强图像质量和细节，让此方法成为首选。本发明设定输出图像(640*480或者640*320)大小后建立空图像空像素图像，再通过坐标映射和双三次坐标插值获得新像素坐标，将原图像坐标的像素值直接赋值给新坐标从而得到输出图像。

步骤3.4：滤波。为了减少高频噪声，同时把校正后的图像降采样到VGA(640*480或者640*320)显示，在处理的最后一步加入5*5低通滤波器处理，去除噪声干扰，这样采样得到的图像才是清晰符合人眼视觉的图像，可以在硬件上显示。实验后，效果图如图8示。

Claims (6)

1.一种鱼眼镜头标定后鱼眼图像校正的方法，其特征在于，包括：

S1.建立完整的鱼眼摄像机投影和畸变模型，并在模型上建立鱼眼成像关系；

S2.由鱼眼镜头与配套摄像模块组成鱼眼摄像机，并自制平面棋盘标定板，再利用鱼眼摄像机拍摄平面棋盘格采集图片来标定鱼眼镜头；

S3.鱼眼镜头标定后，利用相关标定参数对鱼眼畸变图像进行畸变校正。

2.根据权利要求1所述的方法，其特征在于，步骤S1的建立完整的鱼眼摄像机投影和畸变模型的具体过程为：

设空间场景点X＝[X，Y，Z，1]在鱼眼图像上的成像点为p＝[u，v]^τ；鱼眼摄像机投影成像的完整模型由以下方程描述：

$\mathrm{\λ}=\left[\begin{array}{c}u\\ v\\ f\left(\mathrm{\ρ}\right)\end{array}\right]=\mathrm{PX}---\left(1\right)$

其中λ为参数，λ＞0；P称之为投影矩阵，P＝[R|T]，R∈S0(3)，f(ρ)代表鱼眼镜头的曲面多项式模型，f(ρ)中的参数为(a₀a₁，a₂，a₃，a₄)，公式描述为：

f(ρ)＝a₀+a₁ρ+a₂ρ²+a₃ρ³+a₄ρ⁴   (2)

其中ρ对应于鱼眼图像像素点到成像中心的距离，

ρ关于θ的多项式称为畸变多项式，ρ关于θ的多项式模型表示为：

ρ＝b₀+b₁θ+b₂θ²+b₃θ³+b₄θ⁴+...+b_nθⁿ   (3)

其中θ是入射光线与单位球Z轴正方向的夹角；多项式系数称之为畸变系数，表示为b₀，b₁，b₂，b₃，b₄，...；

增加参数来描述更精确的模型；即通过一个仿射变换达到精确描述的目地，即：

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]+\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]---\left(4\right)$

其中c，d，e为参数，(u′，v′)为真实坐标，(u，v)为理想坐标，(x_c，y_c)为图像中心坐标；

上式表示为：

u′＝Au+t    (5)

其中A∈R^2×2和t∈R， $A=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right],t=\begin{array}{c}\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]\end{array};$

对鱼眼摄像机进行标定就是估计P＝[R|T]；a₀，a₁，a₂，a₃，a₄，A，t这些参数；其中矩阵R，T称之为外部参数；a₀，a₁，a₂，a₃，a₄、A，t称之为内部参数；要校正鱼眼畸变图像，只需要使用内部参数。

3.根据权利要求2所述的方法，其特征在于，步骤S2的标定鱼眼镜头的步骤包括：

S21.自制平面棋盘标定板，鱼眼摄像机对棋盘标定板采集N幅图片，其中N＞＞1；读取所有的棋盘格拍摄图像；

S22.在每张棋盘格图像上自动选取棋盘格的黑白交叉顶点；

S23.估计外部参数和内部参数；

S24.线性优化。线性优化通过奇异值分解可以方便解决。

S25.中心提取，利用投影点的直观性，把A＝I和t＝0条件下的中心位置作为初始值，计算出新的中心位置；再使用计算的新中心位置作为下一次初始值，进行多次迭代，每一次计算投影误差，并求出均方误差，使误差满足需要的条件，并保证有局部最小值，从而确定优化后的中心位置；

S26.非线性优化，基于最大似然准优化获得的内外部参数，作为标定参数，选取需要的最终用于鱼眼图像校正使用。

4.根据权利要求3所述的方法，其特征在于，步骤S23估计外部参数和内部参数的过程为：

拍摄平面标定板i幅图片，这样对于每一幅拍摄图片，能够得到：

$\begin{array}{c}{\mathrm{\λ}}_j^i{p}_j^i={\mathrm{\λ}}_j^i\left[\begin{array}{c}{u}_j^i\\ v_j^i\\ f\left({\mathrm{\ρ}}_j^i\right)\end{array}\right]\\ ={\mathrm{\λ}}_j^i\left[\begin{array}{c}{u}_j^i\\ v_j^i\\ a_0+a_1{\mathrm{\ρ}}_j^i+a_2{\mathrm{\ρ}}_j^{i2}+a_3{\mathrm{\ρ}}_j^{i3}+a_4{\mathrm{\ρ}}_j^{i4}\end{array}\right]\\ =P^i\·X_j^i\\ =\left[r_1^i{r}_2^i{r}_3^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 0\\ 1\end{array}\right]\\ =\left[r_1^i{r}_2^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 1\end{array}\right]\end{array}---\left(6\right)$

其中是Rⁱ的列向量；上标i表示第i幅标定板拍摄照片，下标j表示第i幅标定板照片的第j个点；X、Y分别为空间场景的横坐标和纵坐标；T为外部参数，

对式(6)两边进行叉乘运算，由于则：

$\begin{array}{c}{\mathrm{\λ}}_j^i{p}_j^i\×p_j^i=p_j^i\×\left[r_1^i{r}_2^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 1\end{array}\right]=0\\ \⇔\left[\begin{array}{c}{u}_j^i\\ v_j^i\\ a_0+a_1{\mathrm{\ρ}}_j^i+a_2{\mathrm{\ρ}}_j^{i2}+a_3{\mathrm{\ρ}}_j^{i3}+a_4{\mathrm{\ρ}}_j^{i4}\end{array}\right]\×\left[r_1^i{r}_2^i\right|T^i]\left[\begin{array}{c}{X}_j^i\\ Y_j^i\\ 1\end{array}\right]=0\end{array}$

对第i幅标定板图像上的第j个图像点p_j能够得到三个齐次方程，即：

第I式：v_j(r₃₁X_j+r₃₂Y_j+t₃)-g(ρ_j)(r₂₁X_j+r₂₂Y_j+t₂)＝0

第II式：g(ρ_j)(r₁₁X_j+r₁₂Y_j+t₁)-u_j(r₃₁X_j+r₃₂Y_j+t₃)＝0

第III式：u_j(r₂₁X_j+r₂₂Y_j+t₂)-v_j(r₁₁X_j+r₁₂Y_j+t₁)＝0

其中X_j，Y_j，Z_j和u_j，v_j是已知的，通过第III式求出r₁₁，r₁₂，r₂₁，r₂₂，t₁，t₂；

把所有待求项放入一个列向量H，即H＝[r₁₁，r₁₂，r₂₁，r₂₂，t₁，t₂]^τ；

L表示标定板上有L个点，把第III式改写为：

M·H＝0

其中 $M=\left[\begin{array}{cccccc}-{v_{1}X}_1& -v_1{Y}_1& u_1{X}_1& u_1{Y}_1& -v_1& u_1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ -v_L{X}_L& -v_L{Y}_L& u_L{X}_L& u_L{Y}_L& -v_L& u_L\end{array}\right)$

在||H||²＝1的条件下，通过最小平方准则最小化||M·H||²能够线性估计出H；由于r₁，r₂是标准正交，r₃₁，r₃₂也能够唯一的确定；然后对每一幅标定板图片确定外部参数：r₁₁，r₁₂，r₂₁，r₂₂，r₃₁，r₃₂，t₁，t₂；

再把所有待求项放入一个列向量，则第I式改写为：

$\begin{array}{c}\left[\begin{array}{cccccccc}{A}_j^1& A_j^1{\mathrm{\ρ}}_j^{1^2}& ...& A_j^1{\mathrm{\ρ}}_j^{1^4}& -v_j^1& 0& ...& 0\\ C_j^1& C_j^1{\mathrm{\ρ}}_j^{1^2}& ...& C_j^1{\mathrm{\ρ}}_j^{1^4}& -u_j^1& 0& ...& 0\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ A_j^K& A_j^K{\mathrm{\ρ}}_j^{K^2}& ...& A_j^K{\mathrm{\ρ}}_j^{K^4}& 0& 0& ...& -v_j^K\\ C_j^K& C_j^K{\mathrm{\ρ}}_j^{K^2}& ...& C_j^K{\mathrm{\ρ}}_j^{K^4}& 0& 0& ...& -u_j^K\end{array}\right]\·\left[\begin{array}{c}{a}_0\\ a_1\\ .\\ .\\ .\\ a_4\\ t_3^1\\ t_3^2\\ .\\ .\\ .\\ t_3^K\end{array}\right]\\ =\left[\begin{array}{c}{B}_j^1\\ D_j^1\\ .\\ .\\ .\\ B_j^K\\ D_j^K\end{array}\right]\end{array}.$

其中

$A_j^i=r_{21}^i{X}_j^i+r_{22}^i{Y}_j^i+t_2^i,$

$B_j^i=v_j^i(r_{31}^i{X}_j^i+r_{32}^i{Y}_j^i),$

$C_j^i=r_{11}^i{X}_j^i+r_{12}^i{Y}_j^i+t_1^i,$

$D_j^i=u_j^i(r_{31}^i{X}_j^i+r_{32}^i{Y}_j^i).$

K表示对平面标定板的K次拍摄；求解以上方程，得到最小二乘解，确定参数a₀，a₁，a₂，a₃，a₄；

步骤S24的线性优化是通过线性优化的方法对得到的初始值进行线性优化；优化的方法通过线性最小化来实现，具体为：

第一步，使用内部参数a₀，a₁，a₂，a₃，a₄初始值代入第I式，第II式，第III式，通过求解第I式，第II式，第III式再次计算所有的外部参数r₁₁，r₁₂，r₂₁，r₂₂，r₃₁，r₃₂，t₁，t₂，t₃；将问题转化为求解齐次线性方程组问题，通过奇异值分解解决；

第二步，将第一步求解的外部参数代入第II式，第III式来进一步优化内部参数；同样，将问题转化为线性方程组的求解问题，通过伪逆矩阵解决。

5.根据权利要求4所述的方法，其特征在于，步骤S26的非线性优化是基于最大似然准则优化获得的内外部参数；

假设获得了K幅标定板的拍摄图片，每一幅图片上包含L个点；那么最大似然估计就是最小化函数：

$E=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\left|\right|u_j^u-\hat{u}(R^i,T^i,A,O_c,a_0,a_1,...a_4,X_j^i)\left|\right|}^2$

其中是场景点的投影；Rⁱ，Tⁱ描述标定板的位置和方向；Rⁱ∈S0(3)，

最小化函数就是寻找合适的标定参数来最小化投影误差；使用Levenberg-Marquadt算法来最优化函数，采用使用步骤S24中获得的内外部参数作为初始值，矩阵A使用单位矩阵I作为初始值；中心位置O_c使用步骤S25中经过线性迭代后的值作为初始值；

设定初始值后，通过最大似然估计得到进一步优化后的内外部参数，这些参数即为标定参数，选取需要的最终用于鱼眼图像校正使用。

6.根据权利要求5所述的方法，其特征在于，步骤S3的标定后对鱼眼畸变图像进行校正的步骤包括：

S31.提取标定结果，对用于校正的参数以TXT的格式进行存储；

以TXT的格式的标定结果：曲面镜头模型多项式Γ的系数，表示为(a₀，a₁，a₂，a₃，a₄)，储存在数组SS中，SS＝[a₀，a₁，a₂，a₃，a₄]；鱼眼图像的中心坐标(x_c，y_c)即向量t；仿射变换参数c，d，e即矩阵A；

S32.空间坐标映射，通过步骤S1和S2提出的模型参数标定过程，得到鱼眼成像坐标与空间场景坐标的转换规律，根据这个关系将鱼眼图像对应于空间场景图，从而得到透视图；

通过步骤S31的多项式系数a₀，a₁，a₂，a₃，a₄得到曲面镜头模型多项式f(ρ)，f(ρ)代表鱼眼镜头的曲面模型，这是一个关于ρ的多项式函数，为了校正需要得到ρ关于θ的畸变多项式采用以下方式；

ρ关于θ的多项式系数，称之为畸变多项式系数，表示为b₀，b₁，b₂，b₃，b₄，...，为了求解畸变多项式系数，通过拟合多项式，设定一个循环来得到多项式的阶数，使拟合多项式误差小于0.01即停止，获得最优参数；得到ρ关于θ的多项式，即

ρ＝b₀+b₁θ+b₂θ²+b₃θ³+b₄θ⁴+...+b_nθⁿ

那么，真实空间三维点P(X，Y，Z)映射为平面图像坐标p(x′，y′)，其变换关系如下：

设 $N=\sqrt{X^2+Y^2}$

当N＝0时，

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]$

此时，令N＝eps，即令N为无穷小；

当N≠0时，

$\mathrm{\θ}=\arctan \frac{Z}{N}$

理想图像坐标：

$x=X\frac{\mathrm{\ρ}}{N}$

$y=Y\frac{\mathrm{\ρ}}{N}$

真实图像坐标：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]$

S33.双三次坐标插值。经过步骤S32空间变换得到需要的像素点，再利用插值的方法可以获得新像素坐标，将原输入图像坐标的像素值直接赋值给新坐标从而得到新坐标的像素，最后按新的坐标进行输出图像；

S34.滤波，对步骤S33输出的图像进行滤波处理。