CN102169573B - 高精度的宽视场镜头实时畸变矫正方法及系统 - Google Patents

Abstract

本发明公开了一种高精度的宽视场镜头实时畸变矫正方法及系统，属于计算机视觉以及计算机图形学领域。该方法包括如下步骤：初矫正步骤，建立投影方程，根据该投影方程找到与图像平面上的图像点相对应的空间点；优化步骤，对初矫正后的图像进行误差分析，得到初矫正后的图像的误差；LUT建立步骤，通过优化步骤中得到的误差，对初矫正步骤中的投影方程偏差进行校正，建立图像上任意一点与空间上点的映射关系。本发明在初矫正中为了简化模型忽略了切向畸变，但在局部优化中考虑切向畸变带来的影响，同时兼顾了径向畸变和切向畸变，是一个高精度的实时的矫正方法。

Description

高精度的宽视场镜头实时畸变矫正方法及系统

技术领域

本发明涉及一种高精度的宽视场镜头实时畸变矫正方法及系统，属于计算机视觉以及计算机图形学领域。

背景技术

宽视场角的镜头包括一般的广角镜头(大于60°)和超宽视场的鱼眼镜头(一般大于180°)等，它们在安防监控、全景摄影以及激光捕获通信等领域应用越来越多。但是，光线在经过宽视场镜头时，一般都发生多次偏转，导致存在较严重的畸变(分为主要的径向畸变和微小的切向畸变)，而且随着视场角的不断增大，畸变逐渐加大。尤其，对于超宽视场的鱼眼镜头，已经不满足小孔成像模型，不能够简单的使用小孔模型进行相机标定。因此，对于鱼眼镜头如何得到无畸变的场景图，需要使用特殊的投影模型进行畸变的矫正。而且，在激光捕获等领域对畸变矫正的精度要求更高。因此，对宽视场镜头进行高精度的畸变矫正研究，有很强的现实意义。

目前在计算机视觉以及计算机图形学领域，对镜头光学畸变矫正的研究较多，主要分为基于硬件测量的畸变矫正和基于模板图像的畸变矫正。其中，对于基于硬件测量的方法，在文献《Panoramicmosaicing with a 180°field of view lens》中给出一种。它使用一种带参数的复合式投影模型，通过对一些标定点的实测数据，然后结合最小二乘法拟合方式确定投影模型中的参数值，从而完成畸变矫正处理。虽然测试结果不错，但是其计算量较大，而且对测试装置的准确度要求较高，复杂度高。而基于图像模板的方法又可以分为基于任意模板以及基于固定模板两种，其中对于基于任意模板的方法实现算法复杂，而对于基于特定场景的方法灵活简单，是现在的研究热点。

在文献《Structure from motion with wide circular field of viewcameras》中，总结了一些广角镜头的畸变处理算法，并给出一种根据多幅成像图像的自动畸变矫正方法，这种方法采用最小二乘法多项式拟合，原理简单、实现方便，但是在超宽视场的鱼眼镜头成像系统中，这种畸变矫正方法的误差较大。在此基础上，一些学者又发展了一些其它的拟合方式，比如采用Circular Regression技术对鱼眼镜头进行矫正，该技术用一段圆弧拟合误差曲线，实质上是一种基于最小均方误差逼近原理的非线性拟合方式。虽然这种畸变矫正算法的计算量较少，实现比较容易，但是其光学畸变矫正的精度不是太高。Moravec畸变矫正算法采用了一块垂直于光轴的平板作为物平面，其上纵横排列着一系列圆点作为标定参数的点，通过测量圆点的实际位置即可获得其空间方位角，然后再找到对应的成像位置，完成对光学畸变的矫正处理，虽然这种方法实现非常简单，但是在超宽视场情况下并不适用，而且精度较低。在《A New Methodand Toolbox for Easily Calibrating Omnidirectional Cameras》中，提出了一种基于全局均方误差最小的多项式拟合方法，并构造了一种通用投影模型。但是，这种拟合方式由于是在整个成像范围内进行处理，当多项式拟合阶次低时，其拟合效果差，畸变矫正性能不甚理想；当增加阶次时，尽管拟合多项式在插值点的逼近效果变好，但是拟合曲线可能会出现大的振荡，这很难实现对整个成像面做到较好的矫正；而且，为了简化算法，它忽略了切向畸变。

以上的研究方法主要应用在图像畸变还原领域，它们对误差精度的要求不高，如果将上述算法直接应用在超宽视场的激光捕获定位等对矫正精度要求很高的领域，总的来说存在如下不足：

①上述方法本质上都是基于全局均方差最小原理的非线性拟合，没有考虑到实际成像的特征，比如对于鱼眼图像，其成像中心的分辨率一般较高，而图像边缘处的分辨率一般较低，这使得它们的畸变矫正残余误差较大，如果想达到较好的畸变矫正效果，上述拟合方式或者需选用较高阶次的多项式，或者选用较为复杂的映射模型，这都会增大畸变矫正算法的运算复杂度以及稳定性。

②上述方法一般都把镜头微小的切向畸变忽略了，以达到简化模型的目的。但是，在精度要求较高的场合，是必须得考虑的。

发明内容

本发明提出了一种高精度的宽视场镜头实时畸变校正方法及系统，该系统使得宽视场镜头尤其是鱼眼镜头等超宽视场的镜头在实际中不会由于其镜头畸变而导致其应用受限，并且在一些轻微的镜头畸变也会带来较大影响的场合中，比如激光捕获、跟踪和定位等，通过使用此方法宽视场镜头也能得到很好的应用。

本发明采取了如下技术方案：本发明中的高精度宽视场镜头实时畸变矫正方法包括如下步骤：初矫正步骤，建立投影方程，根据该投影方程找到与图像平面上的图像点相对应的空间点；优化步骤，对初矫正后的图像进行误差分析，得到初矫正后图像的误差；LUT建立步骤，通过优化步骤中得到的误差，对初矫正步骤中的投影方程偏差进行校正，建立图像上任意一点与空间上点的映射关系。

所述初矫正步骤中的投影方程为：

λ·[u，v，a₀+a₁ρ+a₂ρ²+...+a_Nρ^N]^T＝[r₁，r₂，t]·[X，Y，1]^T；

上式中：λ为图像上点的比例系数且λ＞0，(u，v)为图像平面上的图像点的坐标，单位pixel，N是多项式的最高次幂，a_i(i＝0，1，...，N)是多项式系数，

是图像上点到光学中心的像素距离；r₁，r₂是旋转矩阵的前两个列向量，t是平移矩阵的列向量；X，Y是与图像平面上的点(u，v)对应的空间点的坐标。选取模板图像，对模板图像上的特征点进行检测，得到特征点的位置m_ij，然后找到与其对应的空间点M_ij，建立空间点M_ij与m_ij的映射关系，使用空间点与图像上点组成的点对M_ij与m_ij，解出上面映射方程组中的最优参数a_i(i＝0，1，...，N)，N，r₁，r₂，t。

所述求取投影方程中的最优参数a_i(i＝0，1，...，N)，N，r₁，r₂，t选用最小均方误差准则，即，使实际点与根据投影方程的投影点之间的均方误差达到最小，即下式E最小：

$E=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\left|\right|m_{\mathrm{ij}}-\hat{m}(r_1^i,r_2^i,t^i,O_c,a_0,a_1,a_2,a_3,...,a_N,M_{\mathrm{ij}})\left|\right|}^2$

上式中：Oc是图像的光学中心，m_ij是检测到的第i幅模板图像的第j个特征点的图像坐标，

是在相机内部和外部参数下的投影点，和

是第i幅模板图像旋转的旋转矩阵的列向量，tⁱ是第i幅模板图像的平移矩阵，a_i(i＝0，1，...，N)是投影多项式的系数，N是拟合多项式的最高阶数，M_ij是与m_ij对应的空间点的坐标，K是模板图像的张数，L是每幅模板图像上特征点的个数。本发明在使用最小均方误差准则对参数求解时使用列算法维布格-麦奎尔特算法或高斯牛顿迭代算法。

所述优化步骤包括：特征点提取步骤，拍摄一幅含固定模板的图像，对图像中的特征点进行提取；直线拟合步骤，使用上述投影方程把各特征点矫正为初步未失真的空间位置，再对空间各特征点进行直线拟合，拟合时满足初步校正后的图像中的直线应该仍然是“真正”的直线这个约束条件；局部误差计算步骤，求出拟合后的各特征点的空间位置与其实际空间位置的偏差，然后使用二维的双三次样条插值，得到这部分区域所有点的误差；全图误差计算步骤，使用上述方法对图像的各区域进行处理，得到全部图像误差。

所述LUT建立步骤为：通过优化步骤中得到的全图误差修正初矫正步骤中通过投影方程得到的映射点，从而建立图像上任意一点与空间上点的映射关系。

一种高精度的宽视场镜头实时畸变矫正系统，包括：初矫正模块，用于建立投影方程，根据该投影方程找到与图像平面上的图像点相对应的空间点；优化模块，用于对初矫正模块矫正后的图像进行误差分析，得到初矫正后图像的误差；LUT建立模块，该模块通过优化模块中得到的误差，对初矫正模块中的投影方程偏差进行校正，建立图像上任意一点与空间上点的映射关系。

所述初矫正模块使用的投影方程为：

λ·[u，v，a₀+a₁ρ+a₂ρ²+...+a_Nρ^N]^T＝[r₁，r₂，t]·[X，Y，1]^T；

上式中：λ为图像上点的比例系数且λ＞0，(u，v)为图像平面上的图像点的坐标，单位pixel，N是多项式的最高次幂，a_i(i＝0，1，...，N)是多项式系数，

是图像上点到光学中心的像素距离；r₁，r₂是旋转矩阵的前两个列向量，t是平移矩阵的列向量；X，Y是与图像平面上的点(u，v)对应的空间点的坐标；选取模板图像，对模板图像上的特征点进行检测，得到特征点的位置m_ij，然后找到与其对应的空间点M_ij，建立空间点M_ij与m_ij的映射关系，使用空间点与图像上点组成的点对M_ij与m_ij，解出上面映射方程组中的最优参数a_i(i＝0，1，...，N)，N，r₁，r₂，t。

所述优化模块包括：特征点提取单元，拍摄一幅含固定模板的图像，对图像中的特征点进行提取；直线拟合单元，使用上述投影方程把各特征点矫正为初步未失真的空间位置，再对空间各特征点进行直线拟合，拟合时满足初步校正后的图像中的直线应该仍然是“真正”的直线这个约束条件；局部误差计算单元，求出拟合后的各特征点的空间位置与其实际空间位置的偏差，然后使用二维的双三次样条插值，得到这部分区域所有点的误差；全图误差计算单元，使用上述方法对图像的各区域进行处理，得到全部图像误差。

所述LUT建立模块，该模块通过优化模块中得到的全图误差修正初矫正模块中通过投影方程得到的映射点，从而建立图像上任意一点与空间上点的映射关系。

相对于现有技术而言，本发明的效果和优点是：

1.在初步矫正中，使用通用的投影模型，从而不仅适用于一般的广角镜头，还适应于鱼眼镜头等超宽视场的镜头。

2.在局部优化中，使用基于图像测量的方法，不需要额外的硬件测试装置，结构简单，成本低，效果好。

3.结合初步矫正以及局部优化，建立LUT，可以实现实时的畸变矫正系统。

4.本发明矫正精度高，适用于激光捕获通信等对矫正精度要求很高的场合。

5.应用直线的投影仍然是直线这个约束，能够很好的消除图像传感器像素分布不均匀等问题，从而达到更好的视觉效果。

6.通过使用二维的双三次样条插值算法，简化了局部优化的复杂度，从而不需要测量所有的点的误差，主要得到一些固定点的误差，然后通过插值获得全部误差。而且样条插值算法的插值效果平滑，效果较好。

7.本发明在初矫正中为了简化模型忽略了切向畸变，但在局部优化中考虑切向畸变带来的影响，同时兼顾了径向畸变和切向畸变，是一个高精度的实时的矫正方法。

附图说明

图1为矫正系统与算法的原理框图；

图2(a)在初矫正中的通用投影模型以及坐标系；

图2(b)传感器平面坐标系，mm单位；

图2(c)图像平面坐标系，pixel单位；

图3为本发明中的一种高精度的宽视场镜头实时畸变矫正方法流程图；

图4为本发明中的一种高精度的宽视场镜头实时畸变矫正系统结构示意图；

图5为本发明中优化模块结构示意图；

图6在局部优化中鱼眼拍摄的一副某个方向的模板图；

图7鱼眼实际场景图；

图8对鱼眼实际场景图中间图像的矫正结果；

图9对鱼眼实际场景图左边图像的矫正结果；

图10对鱼眼实际场景图右边图像的矫正结果；

图11对鱼眼实际场景图上边图像的矫正结果；

图12对鱼眼实际场景图下边图像的矫正结果。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

为了得到高的矫正精度，本发明将宽视场镜头的矫正分为两个部分：全局的初矫正以及局部的优化。其中全局的初矫正，使用低次(5次以下)的多项式进行拟合，得到镜头的近似投影模型。然后使用基于图像测量的方法，多次对不同局部的图像使用双三次样条插值算法进行进一步的误差分析，然后建立LUT(Look Up Table，查找表)，实现实时的全局高精度畸变矫正。本发明在初步矫正中使用通用的投影模型，并忽略镜头的微小切向畸变，简化映射方程，从而减少投影参数，简化运算。然后，使用基于图像测量的方法(其基本约束原理是直线的投影仍然是直线以及矫正后的图像中心区域附件的畸变可以忽略)，对局部图像进行进一步的误差分析，得到局部的误差，通过多次对不同局部的图像进行分析，从而得到全图的误差。其中，每个局部都只对部分固定点进行误差分析，然后使用二维的双三次样条插值算法，得到整个局部的误差。在得到所有点误差后，结合投影模型，可以构造整个投影空间图像上点与空间点的映射关系。

如图3所示，本发明中的高精度的宽视场镜头实时畸变矫正方法包括如下步骤：初矫正步骤S1，建立投影方程，根据该投影方程找到与图像平面上的图像点相对应的空间点；优化步骤S2，对初矫正后的图像进行误差分析，得到初矫正后图像的误差；LUT建立步骤S3，通过优化步骤中得到的误差，对初矫正步骤中的投影方程偏差进行校正，建立图像上任意一点与空间上点的映射关系。

所述初矫正步骤中的投影方程为：

λ·[u，v，a₀+a₁ρ+a₂ρ²+...+a_Nρ^N]^T＝[r₁，r₂，t]·[X，Y，1]^T；

上式中：λ为图像上点的比例系数且λ＞0，(u，v)为图像平面上的图像点的坐标，单位pixel，N是多项式的最高次幂，a_i(i＝0，1，...，N)是多项式系数，

是图像上点到光学中心的像素距离；r₁，r₂是旋转矩阵的前两个列向量，t是平移矩阵的列向量；X，Y是与图像平面上的点(u，v)对应的空间点的坐标；选取模板图像，对模板图像上的特征点进行检测，得到特征点的位置m_ij，然后找到与其对应的空间点M_ij，建立空间点M_ij与m_ij的映射关系，使用空间点与图像上点组成的点对M_ij与m_ij，解出上面映射方程组中的最优参数a_i(i＝0，1，...，N)，N，r₁，r₂，t。

所述求取投影方程中的最优参数a_i(i＝0，1，...，N)，N，r₁，r₂，t选用最小均方误差准则，即，使实际点与根据投影方程的投影点之间的均方误差达到最小，即下式E最小：

$E=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\left|\right|m_{\mathrm{ij}}-\hat{m}(r_1^i,r_2^i,t^i,O_c,a_0,a_1,a_2,a_3,...,a_N,M_{\mathrm{ij}})\left|\right|}^2$

上式中：Oc是图像的光学中心，m_ij是检测到的第i幅模板图像的第j个特征点的图像坐标，

是在相机内部和外部参数下的投影点，

和

是第i幅模板图像旋转的旋转矩阵的列向量，tⁱ是第i幅模板图像的平移矩阵，a_i(i＝0，1，...，N)是投影多项式的系数，N是拟合多项式的最高阶数，M_ij是与m_ij对应的空间点的坐标，K是模板图像的张数，L是每幅模板图像上特征点的个数。本发明在使用最小均方误差准则对参数求解时使用列算法维布格-麦奎尔特算法或高斯牛顿迭代算法。

所述优化步骤包括：特征点提取步骤，拍摄一幅含固定模板的图像，对图像中的特征点进行提取；直线拟合步骤，使用上述投影方程把各特征点矫正为初步未失真的空间位置，再对空间各特征点进行直线拟合，拟合时满足初步校正后的图像中的直线应该仍然是“真正”的直线这个约束条件；局部误差计算步骤，求出拟合后的各特征点的空间位置与其实际空间位置的偏差，然后使用二维的双三次样条插值，得到这部分区域所有点的误差；全图误差计算步骤，使用上述方法对图像的各区域进行处理，得到全部图像误差。

所述LUT建立步骤为：通过优化步骤中得到的全图误差修正初矫正步骤中通过投影方程得到的映射点，从而建立图像上任意一点与空间上点的映射关系。

如图4所示，高精度的宽视场镜头实时畸变矫正系统包括：初矫正模块401，用于建立投影方程，根据该投影方程找到与图像平面上的图像点相对应的空间点；优化模块402，用于对初矫正模块矫正后的图像进行误差分析，得到初矫正后图像的误差；LUT建立模块403，该模块通过优化模块中得到的误差，对初矫正模块中的投影方程偏差进行校正，建立图像上任意一点与空间上点的映射关系。

所述初矫正模块使用的投影方程为：

λ·[u，v，a₀+a₁ρ+a₂ρ²+...+a_Nρ^N]^T＝[r₁，r₂，t]·[X，Y，1]^T；

上式中：λ为图像上点的比例系数且λ＞0，(u，v)为图像平面上的图像点的坐标，单位pixel，N是多项式的最高次幂，a_i(i＝0，1，...，N)是多项式系数，

是图像上点到光学中心的像素距离；r₁，r₂是旋转矩阵的前两个列向量，t是平移矩阵的列向量；X，Y是与图像平面上的点(u，v)对应的空间点的坐标；选取模板图像，对模板图像上的特征点进行检测，得到特征点的位置m_ij，然后找到与其对应的空间点M_ij，建立空间点M_ij与m_ij的映射关系，使用空间点与图像上点组成的点对M_ij与m_ij，解出上面映射方程组中的最优参数a_i(i＝0，1，...，N)，N，r₁，r₂，t。

如图5所示，优化模块包括：特征点提取单元501，拍摄一幅含固定模板的图像，对图像中的特征点进行提取；直线拟合单元502，使用上述投影方程把各特征点矫正为初步未失真的空间位置，再对空间各特征点进行直线拟合，拟合时满足初步校正后的图像中的直线应该仍然是“真正”的直线这个约束条件；局部误差计算单元503，求出拟合后的各特征点的空间位置与其实际空间位置的偏差，然后使用二维的双三次样条插值，得到这部分区域所有点的误差；全图误差计算单元504，使用上述方法对图像的各区域进行处理，得到全部图像误差。

LUT建立模块，该模块通过优化模块中得到的全图误差修正初矫正模块中通过投影方程得到的映射点，从而建立图像上任意一点与空间上点的映射关系。

实施例：

图1是本方案的具体实现框图，可以分为三个部分，即通用投影模型的求解、局部优化的实现以及LUT的建立。其中通用投影模型的求解包含前6个步骤，而局部优化包含接下来的5个步骤，最后一步就是LUT的建立。

一、通用投影模型的求解

这部分需要建立投影模型，并求解投影模型中的未知参数。首先，需要推导此通用投影模型。如图2(b)所示，(u″，v″)是传感器平面上点(与光轴垂直，其中心Oc是平面与光轴的交点)，以mm为单位。如图2(c)所示，其中图像平面坐标(u′，v′)是以pixel为单位，是实际图像平面。如图2(a)所示，空间某点p经过镜头投影在传感器平面上，(u″，v″)与(u′，v′)之间经过仿射变换进行转换，即[u″，v″]^T＝A·[u′，v′]^T+t，其中A是2*2维实数矩阵，t是2*1维实数矩阵。

接下来需要找到一个映射函数g(u″，v″)，使传感器平面的点(u″，v″)映射到空间向量p上的某点X，满足

λ·p＝λ·g(u″，v″)＝λ·g(A·[u′，v′]^T+t)＝PX，λ＞0

其中，λ是大于0的比例常数，P是3*4维透视投影矩阵，X是与p对应的空间点坐标[x，y，z，1]。

不失一般性，我们可以假设如下：

g(u″，v″)＝(u″，v″，f(u″，v″))

其中函数f(u″，v″)是投影函数。

对于实际镜头，一般都满足对于光轴的旋转对称，即镜头主要考虑的是径向畸变，切向畸变一般都可以忽略。为此，使用如下多项式拟合的方法分析投影函数

f(u″，v″)＝a₀+a₁ρ″+a₂ρ″²+...+a_Nρ″^N

其中，N是多项式的最高次幂，N的取值越大拟合效果越好，但是随着N的增大，计算量增大，且容易导致最后计算结果的不收敛，因此实际中N的取值一般在3～5之间，a_i(i＝0，1，...，N)是多项式系数，

是图像上点到光学中心的距离。

如果我们能够得到a_i(i＝0，1，...，N)以及N的合适值，就可以把图像上的点映射到空间。接下来分析如何使用特定的模板来求取最优的a_i(i＝0，1，...，N)以及N的值。

通常情况下，鱼眼镜头的图像平面与传感器平面基本是重合的，可以忽略旋转和平移，从而令[u″，v″]^T＝α·[u′，v′]^T，其中α是常数，单位是mm/pixel。最后映射模型简化为：

λ·[u″，v″，w″]^T＝λ·g(α·[u′，v′]^T)＝λ·[α·u′，α·v′，f(α·ρ′)]^T＝PX

其中，λ＞0，α＞0，[u′，v′]是与pixel为单位，相对于图像中心的坐标，而

是图像上点相对于图像中心的像素距离。

因此，对于拍摄的第i幅模板上的第j个点空间上的特征点M_ij＝[X_ij，Y_ij，Z_ij]，相应的图像面上的投影点m_ij＝[u_ij，v_ij](对应于(u′，v′)，是像素坐标)，它们之间满足如下方程：

${\mathrm{\λ}}_{\mathrm{ij}}\·{[u_{\mathrm{ij}},v_{\mathrm{ij}},a_0+a_1{\mathrm{\ρ}}_{\mathrm{ij}}+a_2{{\mathrm{\ρ}}_{\mathrm{ij}}}^2+...+a_N{{\mathrm{\ρ}}_{\mathrm{ij}}}^N]}^T=[r_1^i,r_2^i,r_3^i,t^i]\·{[X_{\mathrm{ij}},Y_{\mathrm{ij}},Z_{\mathrm{ij}},1]}^T$

其中

是3*3第i幅图形的维旋转矩阵，

是Rⁱ列向量，tⁱ是第i幅图像的平移矩阵。

由于我们使用的是2维的平面模板，可以令Z_ij＝0，进一步简化后的映射方程为：

${\mathrm{\λ}}_{\mathrm{ij}}\·{[u_{\mathrm{ij}},v_{\mathrm{ij}},a_0+a_1{\mathrm{\ρ}}_{\mathrm{ij}}+a_2{{\mathrm{\ρ}}_{\mathrm{ij}}}^2+...+a_N{{\mathrm{\ρ}}_{\mathrm{ij}}}^N]}^T=[r_1^i,r_2^i,t^i]\·{[X_{\mathrm{ij}},Y_{\mathrm{ij}},1]}^T$

至此，我们得到了空间点与图像点的映射方程。接下来就是如何求解得到投影方程中的未知参数。

首先，需要进行特征点检测，得到成像图像中存在的特征点(固定模板成像点，在图6中是棋盘网格的角点，实际中也可以使用其他模板)的位置m_ij。然后，找到其对应的空间点M_ij，从而建立空间点M_ij与m_ij映射关系。接下来就需要使用空间点与图像上点组成的“点对”(M_ij与m_ij)，解出上面映射方程组中的最优的参数a_i(i＝0，1，...，N)，N，

tⁱ以及O_c。在求取最优解时，使用的是最小均方误差准则，即，使实际点与根据模型的投影点之间的均方误差达到最小，亦即下式E最小

$E=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\left|\right|m_{\mathrm{ij}}-\hat{m}(r_1^i,r_2^i,t^i,O_c,a_0,a_1,a_2,a_3,...,a_N,M_{\mathrm{ij}})\left|\right|}^2$

其中Oc是图像的光学中心，m_ij是检测到的第i幅图像的第j个特征点的图像坐标，

是在相机内部和外部参数下的投影点，

和

是第i幅图像旋转的旋转矩阵的列向量，tⁱ是第i幅图像的平移矩阵，a_i(i＝0，1，...，N)是投影多项式的系数，N是拟合多项式的最高阶数，M_ij是与m_ij对应的空间点的坐标，K是模板图像的张数，L是每幅图像上特征点的个数。具体的参数求解可以使用Levenberg-Marquadt(列算法维布格-麦奎尔特算法)和高斯牛顿迭代算法等。

需要说明一下的是，在实际中K和L越大得到的E越小，拟合效果越好。但是K和L越大，计算量越大。而且L越大每幅图像上特征点越多，从而特征点的检测越难，一般L＝5*6或者6*7就可以。而K的大小，由实际镜头的视场角决定，镜头视场角越大，K越大，所有拍摄图像中的模板叠加在一起需要覆盖整个视场范围，这样得到的结果最好，对于超宽视场的鱼眼镜头，K在10左右就可以。在求拟合参数时，N是当作已知量带入的，每取一个N值，计算一次拟合参数以及拟合误差，拟合误差最小的N就是拟合效果最好的，但是实际中为了兼顾计算量以及稳定性，N的大小在一般取3～5。

第二部分：局部优化的实现

在求得初步的投影模型后，接下来，需要进行进一步的局部优化处理，从而减少初步投影模型中存在的偏差，从而使矫正结果适用于定位精度要求很高的场合。下面与鱼眼镜头为例，进行说明。

首先，拍摄一幅含有固定模板的鱼眼图，如图6所示。对其中的特征点进行提取。得到图像上特征点的像素坐标(u_ij，v_ij)，其中i和j表示第i幅图像的第j个特征点。

然后，把这些特征点通过第一部分得到的投影方程，逆向映射为初步未失真的空间位置(X_ij，Y_ij)，如下所示。

${\mathrm{\λ}}_{\mathrm{ij}}\·{[u_{\mathrm{ij}},v_{\mathrm{ij}},a_0+a_2{{\mathrm{\ρ}}_{\mathrm{ij}}}^2+...+a_N{{\mathrm{\ρ}}_{\mathrm{ij}}}^N]}^T=[r_1^i,r_2^i,t^i]\·{[X_{\mathrm{ij}},Y_{\mathrm{ij}},1]}^T,j=\mathrm{1,2},...,L$

接着，对图像平面u-v上的特征点对应的X-Y空间平面内的空间点(X_ij，Y_ij)进行处理。由于每幅模板图中的特征点(棋型模板的角点)对应的空间点是按照点状方格分布的，可以由任意相邻的三个点确定其他点的位置，且所有这些点都是共面的。从而，对X-Y空间平面内所有的共线点都分别进行直线拟合，得到多条拟合直线以及拟合误差。

最后，把所有的拟合结果进行统一误差分析。由于一个点(X_ij，Y_ij)可以处在多条直线上，使用L-M算法对所有拟合直线的拟合性能进行分析，达到所有拟合直线的综合拟合误差最小的目的。当然，为了简化计算，在实际计算中，对于某一个固定点(X_ij，Y_ij)，假设其与3组共线的点进行直线拟合，得到3条拟合直线以及点(X_ij，Y_ij)在每条直线上的拟合位置(X_ij ¹，Y_ij ¹)，(X_ij ²，Y_ij ²)和(X_ij ³，Y_ij ³)，对这三个坐标求均值，得到(X_ij，Y_ij)实际对应的点(X_ij′，Y_ij′)，如下所示。

X_ij′＝(X_ij ¹+X_ij ²+X_ij ³)/3，Y_ij′＝(Y_ij ¹+Y_ij ²+Y_ij ³)/3，j＝1，2，…，L

到这一步，就可以得到这些特征点在第一部分矫正后得到的空间坐标的偏差(ΔX_ij，ΔY_ij)。

ΔX_ij＝X_ij-X_ij′，ΔY_ij＝Y_ij-Y_ij′，j＝1，2，…，L

然后，把这L个点按照模板上的分布分为M*N的阵列(L＝M*N)，以(X，Y)为节点，其中X＝1，2，…N和Y＝1，2，…，M，以f(X，Y)＝ΔX_ij为节点上的函数值，进行X方向的双三次样条插值，得到插值区域内每个位置在x方向的偏差值ΔX_ix；以f(X，Y)＝ΔY_ij为节点上的函数值，进行Y方向的双三次样条插值，得到插值区域内每个位置在y方向的偏差值ΔX_iy。这样，就可以得到这部分模板区域内每个坐标点(x，y)对应的偏差值(ΔX_ix，ΔY_iy)，其中x和y分别表示模板区域内的横坐标和纵坐标。假设模板同一横条上相邻两个特征点在空间位置的x轴方向上相差k，则x＝1，2，3，…，(k+1)*N-k；同一纵条上相邻两点在空间位置的y轴方向上相差p，则y＝1，2，3，…，(p+1)*N-p。

然后使用相同的方法，对图像的不同区域进行处理，就可以得到全部投影模型得到的图像的所有像素偏差。同时，可以经过多次测量，对此测试结果进行进一步优化。到这里，可以对全局图像进行最优的矫正，从而得到高精度矫正的实物图。

实际处理中，为了简化运算量以及复杂度，可以拍摄特殊角度的模板图像：把平面模板放置成平行于相机成像平面，并且模板空间坐标的X-Y轴分别平行于相机成像平面的x-y轴。从而，对于棋盘模板的每一个横条直线其倾斜角为0，每一个纵条直线其倾斜角为90°。这样在直线拟合中的计算量将大大减小。同时，为了简化同一点在不同直线中进行拟合带来分析的复杂度，拍摄图像时使模板的一部分分布在图像的中心区域。由于鱼眼图像的中心区域畸变小，因此，在分析时，可以假设中心区域附近的点由投影方程计算得到的空间点的偏差为0，从而使用中心区域特征点的空间坐标(X_ij，Y_ij)，求出模板中其他所有点的坐标，进而计算得到其他非中心区域空间点的偏差。

第三部分：LUT的建立

在得到偏差后，就可以修正第一部分得到的投影模型存在的偏差，从而建立图像上任意一点与空间上点的映射关系以及空间上任意一点与图像上点的映射关系。把这些映射关系存储下来，然后每次都只需要查找这个映射关系，而不需要计算，从而能够节省时间，达到实时处理。

对本发明的测试结果进行分析。由于鱼眼镜头比一般的广角镜头视场角大很多，畸变也更加严重，只要能够矫正鱼眼镜头，那一般的广角镜头也能够被很好的矫正，因此接下来与鱼眼镜头为例，测试此方案的矫正效果。对于图7是由鱼眼镜头拍摄的一幅实际场景图，从此图可以看出，鱼眼图像存在严重的桶形畸变。对于图8、图9、图10、图11和图12，是从不同的方向选取的图像区域，进行实时矫正的结果。通过以上矫正结果可以看出，由于畸变导致图像弯曲失真的部分被很好的矫正了过来，得到较好的矫正效果。虽然测试中，只选取了包围鱼眼的5个特殊部分进行矫正，但是实际上此发明建立了图像中所有点与未畸变点的关系，是可以通过LUT对鱼眼图像中任意区间进行实时矫正的。

以上对本发明所提供的一种高精度的宽视场镜头实时畸变矫正系统与方法进行详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种高精度的宽视场镜头实时畸变矫正方法，其特征在于，包括如下步骤：

初矫正步骤，建立投影方程，根据该投影方程找到与图像平面上的图像点相对应的空间点；

优化步骤，对初矫正后的图像进行误差分析，得到初矫正后图像的误差；

LUT建立步骤，通过优化步骤中得到的误差，对初矫正步骤中的投影方程偏差进行校正，建立图像上任意一点与空间上点的映射关系；

其中，所述初矫正步骤中的投影方程为

λ·[u,v,a₀+a₁ρ+a₂ρ²+...+a_Nρ^N]^T＝[r₁,r₂,t]·[X,Y,1]^T；

上式中：λ为图像上点的比例系数且λ＞0，（u，v）为图像平面上的图像点的坐标，单位pixel，a_i是投影多项式系数，其中，i=0，1，…N，是图像上点到光学中心的像素距离；r₁,r₂是旋转矩阵的前两个列向量，t是平移矩阵的列向量；X,Y是与图像平面上的点（u，v）对应的空间点的坐标；

选取模板图像，对模板图像上的特征点进行检测，得到特征点的位置m_ij，然后找到与其对应的空间点M_ij，建立空间点M_ij与m_ij的映射关系，使用空间点与图像上点组成的点对M_ij与m_ij，解出上面投影方程的最优参数：a_i，N以及r₁,r₂,t。

2.根据权利要求1所述的一种高精度的宽视场镜头实时畸变矫正方法，其特征在于，所述解出投影方程中的最优参数a_i，N以及r₁,r₂,t选用最小均方误差准则，即，使实际点与根据投影方程的投影点之间的均方误差达到最小，即下式E最小：

$E=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\left|\right|m_{\mathrm{ij}}-\hat{m}(r_1^i,r_2^i,t^i,O_c,a_0,a_1,a_2,a_3,...,a_N,M_{\mathrm{ij}})\left|\right|}^2$

上式中：Oc是图像的光学中心，m_ij是检测到的第i幅模板图像的第j个特征点的图像坐标，

是在相机内部和外部参数下的投影点，

和

是第i幅模板图像旋转的旋转矩阵的列向量，tⁱ是第i幅模板图像的平移矩阵，a_i(i＝0,1,...,N)是投影多项式的系数，M_ij是与m_ij对应的空间点的坐标，K是模板图像的张数，L是每幅模板图像上特征点的个数。

3.根据权利要求2所述的一种高精度的宽视场镜头实时畸变矫正方法，其特征在于，使用最小均方误差准则对参数求解时使用列算法维布格-麦奎尔特算法或高斯牛顿迭代算法。

4.根据权利要求3所述的一种高精度的宽视场镜头实时畸变矫正方法，其特征在于，所述优化步骤包括：

特征点提取步骤，拍摄一幅含固定模板的图像，对图像中的特征点进行提取；

直线拟合步骤，使用上述投影方程把各特征点矫正为初步未失真的空间位置，再对空间各特征点进行直线拟合，拟合时满足初步校正后的图像中的直线仍然是直线这个约束条件；

局部误差计算步骤，求出拟合后的各特征点的空间位置与其实际空间位置的偏差，然后使用二维的双三次样条插值，得到这部分区域所有点的误差；

全图误差计算步骤，重复使用上述特征点提取步骤、直线拟合步骤、局部误差计算步骤对图像的各区域进行处理，得到全部图像误差。

5.根据权利要求4所述的一种高精度的宽视场镜头实时畸变矫正方法，其特征在于，所述LUT建立步骤为：通过优化步骤中得到的全图误差修正初矫正步骤中通过投影方程得到的映射点，从而建立图像上任意一点与空间上点的映射关系。

6.一种高精度的宽视场镜头实时畸变矫正系统，其特征在于，包括：

初矫正模块，用于建立投影方程，根据该投影方程找到与图像平面上的图像点相对应的空间点；

优化模块，用于对初矫正模块矫正后的图像进行误差分析，得到初矫正后图像的误差；

LUT建立模块，该模块通过优化模块中得到的误差，对初矫正模块中的投影方程偏差进行校正，建立图像上任意一点与空间上点的映射关系；

其中，所述初矫正模块使用的投影方程为

λ·[u,v,a₀+a₁ρ+a₂ρ²+...+a_Nρ^N]^T＝[r₁,r₂,t]·[X,Y,1]^T；

上式中：λ为图像上点的比例系数且λ＞0，（u，v）为图像平面上的图像点的坐标，单位pixel，a_i是投影多项式系数，其中，i=0，1，…N，是图像上点到光学中心的像素距离；r₁,r₂是旋转矩阵的前两个列向量，t是平移矩阵的列向量；X,Y是与图像平面上的点（u，v）对应的空间点的坐标；

选取模板图像，对模板图像上的特征点进行检测，得到特征点的位置m_ij，然后找到与其对应的空间点M_ij，建立空间点M_ij与m_ij的映射关系，使用空间点与图像上点组成的点对M_ij与m_ij，解出上面投影方程的最优参数：a_i，N以及r₁,r₂,t。

7.根据权利要求6所述的一种高精度的宽视场镜头实时畸变矫正系统，其特征在于，所述优化模块包括：

特征点提取单元，拍摄一幅含固定模板的图像，对图像中的特征点进行提取；

直线拟合单元，使用上述投影方程把各特征点矫正为初步未失真的空间位置，再对空间各特征点进行直线拟合，拟合时满足初步校正后的图像中的直线仍然是直线这个约束条件；

局部误差计算单元，求出拟合后的各特征点的空间位置与其实际空间位置的偏差，然后使用二维的双三次样条插值，得到这部分区域所有点的误差；

全图误差计算单元，重复使用上述特征点提取单元、直线拟合单元、局部误差计算单元对图像的各区域进行处理，得到全部图像误差。

8.根据权利要求6所述的一种高精度的宽视场镜头实时畸变矫正系统，其特征在于，所述LUT建立模块，该模块通过优化模块中得到的全图误差修正初矫正模块中通过投影方程得到的映射点，从而建立图像上任意一点与空间上点的映射关系。

Images