CN104182933A - 一种基于逆向除法模型的广角镜头图像畸变校正方法 - Google Patents

Abstract

一种基于逆向除法模型的广角镜头图像畸变校正方法，依据直接求逆的方法建立逆向除法校正模型，再将其转换为校正前后图像像素坐标之间的关系式；采用迭代的方式检验逆向校正模型的校正精度，并进行参数优化，保证逆向模型的畸变校正系数和正向模型保持一致。本方法在保证校正精度不变的情况下，避免了校正后图像像素缺失的现象，提高了整个校正过程的实时性，对于嵌入式系统以及场地应用场合，逆向除法校正模型要优于传统的正向除法校正模型。

Description

一种基于逆向除法模型的广角镜头图像畸变校正方法

技术领域

本发明涉及图像处理领域，具体涉及一种基于逆向除法模型的广角镜头图像畸变校正方法。

背景技术

广角镜头具有大视场、短焦距等优点，经常用于扩大普通针孔相机的视野范围。在机器人导航、视频会议、监视和虚拟现实应用等计算机视觉领域，都需要使用具有较大视场的广角或鱼眼摄像机。研究者普遍认为：一般的摄像头（包括广角摄像头）都遵循线性针孔模型，也就是符合一般的透视投影规律。然而，广角镜头光学系统引入强烈的光学畸变，导致针孔模型的假设不再成立。为了充分利用这些具有严重畸变的图像透视投影信息，需要将畸变后的图像校正为理想的线性透视投影图像。在广角镜头产生的畸变中，最显著的畸变类型是径向畸变，其在广角镜头光学中体现出畸变图像的中间区域呈现出高分辨率，而在图像的边缘部分呈现图像分辨率的非线性下降。径向畸变是广角镜头引入的最显著的畸变类型，因此畸变校正的关键问题在于如何对广角镜头图像实施径向畸变校正。

目前对于广角摄像机图像畸变校正问题的研究，主要基于传统的摄像机标定理论。广角镜头标定算法是一类精确畸变校正的方法，在建立广角镜头畸变模型的基础上，考虑到广角镜头成像的主要畸变类型，尤其是径向畸变，依此建立精确的广角摄像机模型并计算出相应的内参矩阵各分量。摄像机标定方法主要包括照相机视觉标定、自标定以及张正友标定，这些标定方法都需要特制的标定模块和模板。其中，张正友标定具有精度高、鲁棒性强且灵活的特点，因此广为采用。张正友标定要求摄像机在至少两个方位上拍摄一个平面标定板，摄像机和二维平面标定板可以自由移动，且内部参数始终保持不变。由于二维平面标定板在世界坐标系中Z=0，因此通过线性模型分析即可求解出摄像机内部参数和外部参数的优化解，然后通过最大似然估计和Levenberg-Marquardt进行非线性求精；然后采用合适的正向校正模型来拟合径向畸变函数，实现广角摄像机图像的畸变校正。目前比较常用的是多项式模型，除法模型以及球面透视投影模型等等。

综上所述，广角摄像机校正模型大都采用正向去畸变校正思路，将校正前的图像像素坐标通过校正模型转换为校正后的图像坐标。由于这种映射关系不是一一对应的，校正后的图像必然会导致某些像素缺失，也就是空洞现象。传统的广角畸变校正必然伴随着后续图像插值处理，其中包括最近邻域插值、双线性插值、双三次插值方法等等。然而，由于引入了插值操作，很容易导致算法的实时性降低，进而影响最终的校正效果。

发明内容

本发明针对正向校正算法的不足，提出了一种新颖的基于逆向除法校正模型的广角摄像头畸变校正方法。

将正向校正模型的理想校正图像物理坐标点与主点坐标的距离r _u 和畸变后的鱼眼图像物理坐标点与主点坐标的距离r _d 的关系式，经过直接求逆得到了逆向除法校正模型，通过逆向校正模型将校正后的图像坐标转换为校正前的图像坐标。实验表明这种算法有效避免了校正后图像像素缺失的现象，从而避免了后续的插值处理，在减少了运算量的同时有效地提高了整个校正过程的实时性。

本发明涉及一种基于逆向除法模型的广角镜头图像畸变校正方法。具体地：基于确定的正向除法校正模型，计算出逆向校正模型的表达式和相应的畸变校正系数λ，最后通过最大似然估计进行非线性求精。若校正精度下降的情况，则重新进行最大似然求精，直到校正精度满足要求。

本发明的技术方案是这样实现的：首先采用张正友标定算法计算出广角摄像头的内部参数和外部参数，建立广角摄像头的畸变模型，对广角摄像头建立正向除法畸变校正模型。由于正向除法畸变校正模型表达式可以直接求逆，因此我们采用对正向模型的r _u 和r _d 表达式直接求逆得到逆向除法校正模型。

基于逆向除法模型的广角图像畸变校正方法包括如下主要步骤：

步骤一：对广角摄像机进行张正友标定，获得摄像机的内参矩阵和外参矩阵中的每个分量；

步骤二：先建立正向除法畸变校正的r _u 和r _d 关系模型，在仅考虑径向畸变条件下给出正向除法模型中的校正系数λ。

步骤三：对标定得到的内参、外参和正向除法模型的校正系数λ采用Levenberg-Marquardt算法进行非线性求精，得到相对精确的标定参数值；

步骤四：依据直接求逆的方法建立逆向除法校正模型的r _d 和r _u 表达式，再将其转换为校正前后图像像素坐标之间的关系表达式。

为了实现坐标转换，首先做出如下假设：（1）光轴严格垂直于成像平面，主点没有偏离图像中心。这样我们可以忽略离心畸变（2）忽略切向畸变，仅考虑径向畸变。考虑图像几何关系，容易推导出逆向模型中校正前后物理坐标系中的坐标关系，然后容易推得校正前后图像坐标系中的坐标关系。通过步骤三的最大似然估计对内参以及畸变校正系数等参数值进行优化，即可得到待定畸变校正参数λ的优化值。

步骤五：检验逆向校正模型的校正精度：是，则输出校正后的图像；否，则继续参数优化的过程，返回步骤三；

步骤六：输出最终的校正后图像，作为后续图像辨识、分析、处理使用。

有益效果

本发明方法充分考虑了正向除法校正产生的像素缺失问题对校正过程实时性的影响，在充分保证校正精度的情况下，采用逆向除法模型提高了算法的实时性，避免了图像部分像素缺失的现象，从而有效避免了插值处理并提高了校正过程的运算效率。 

附图说明

图1  本发明具体实施方式的方法流程图；

图2  本发明具体实施方式的广角镜头畸变图像；

图3  本发明具体实施方式的正向除法校正效果（未插值）；

图4  本发明具体实施方式的正向除法校正效果（已插值）；

图5  本发明具体实施方式的逆向除法校正效果（首次设定λ值）；

图6  本发明具体实施方式的逆向除法最终效果（迭代优化λ值后）。

具体实施方式

下面结合附图对本发明的具体实施做详细说明。

本实施方式的方法，软件环境为WINDOWS 7系统，仿真环境为MATLAB2008a，流程如图1所示：

步骤一：采用张正友标定算法计算广角摄像头的内参和外参，主要包括主点坐标(u ₀ ,v ₀ )，u轴和v轴向的尺度因子α，β。

我们对一款576*720分辨率的广角摄像头（此处采用的型号为PC1030，具体型号不影响处理过程）进行标定得到的标定参数如下：

                                                                     

从上面的内参矩阵分析可知，广角摄像头较为重要的内参主要如下：u ₀  = 267.3437, v ₀  = 362.0111, α=242.9073, β= 245.7855。实验选取广角镜头畸变图像的分辨率为576*720像素，选取的标定板是正方形棋盘格，共包含19*15个特征点。

本实施所采用的二值化的广角镜头畸变图像如图2所示。

步骤二：建立正向除法畸变校正的r _u 和r _d 关系模型，在只考虑径向畸变条件下设定正向除法模型中的校正系数λ的初始值。

对于正向畸变校正的整个流程，一般的步骤是将校正前的图像坐标通过正向除法校正模型转换为校正后的图像坐标，并采用合适的插值方法进行插值处理最终实现图像校正。对于广角镜头畸变校正问题，引入过多的非线性系数往往会影响校正的精度和效果。如果忽略其它广角摄像头引入的畸变形式，比如离心畸变和切向畸变，只保留径向畸变，正向除法模型建立的r _u 和r _d 关系表达式如下：

          （1）

其中，r _d 和r _u 的值如下：

                                                        （2）

λ为待定优化的畸变校正参数；此处设置λ的初始值为-0.5。

步骤三：对标定得到的内部参数、外部参数和畸变校正系数λ采用Levenberg-Marquardt算法进行非线性求精，得到相对精确的标定参数值；以上得到的内参分量均为优化后的标定参数值。

步骤四：依据直接求逆的方法建立逆向除法校正模型的r _d 和r _u 表达式，在采用相同的畸变校正系数的前提下，将r _u 和r _d 表达式转换为校正前后图像像素坐标之间的关系表达式；借助公式（1）的简单单调关系，可以直接求逆，通过求解一元二次方程，解得其反函数表达式（由于r _d ＞0因此取正根）：

         （3）

考虑图像几何关系，容易推导出逆向模型中校正前后物理坐标系中的坐标关系： 

                                           （4）

代入图像的物理坐标和像素坐标的关系，容易推得校正前后图像坐标系中的坐标关系：

      （5）

    通过步骤三的最大似然估计对内参以及畸变校正系数等参数值进行优化，即可得到待定畸变校正参数λ的优化值。最后，式（5）即可实现广角镜头图像的畸变校正。

步骤五：迭代检验逆向校正模型的校正精度：是，则输出校正后的图像，作为后续图像处理使用；否，则继续参数优化的过程，返回步骤三。

图3显示了正向除法校正模型校正后的效果，由于没有做插值运算，可以清楚地看到校正后的图像中存在明显的像素缺失，也称为空洞现象。

图4显示了插值后的正向除法校正效果图，尽管和图3相比校正效果提升了很多，但由于额外引入了插值运算会导致算法的实时性下降。

图5给出了首次设定λ值后的逆向除法校正模型的校正效果，和正向除法校正模型相比避免了校正后图像中个别像素的缺失现象。其中λ值设定为-0.5。

图6给出了迭代优化设定λ值后的逆向除法校正模型的校正效果，其中λ值经过反复优化后为-0.4。

综上所述，基于逆向除法的畸变校正方法实现了高效的广角镜头畸变校正过程。由于模型在求逆过程没有损失校正精度，逆向除法校正模型在保证校正精度的同时，有效避免了后续图像插值处理，同时提高了算法的实时性和灵活性。

Claims (2)

1.一种基于逆向除法模型的广角镜头图像畸变校正方法，依据确定的正向除法校正模型，计算出逆向校正模型的表达式和相应的畸变校正系数，然后通过最大似然估计进行非线性求精；若校正精度下降则重新进行最大似然求精，直到校正精度满足要求；其特征在于：（1）依据直接求逆的方法建立逆向除法校正模型，再将其转换为校正前后图像像素坐标之间的关系表达式；采用迭代的方式检验逆向校正模型的校正精度，并进行参数优化，保证逆向模型的畸变校正系数和正向模型保持一致；（2）由于每个校正后的图像坐标必然会通过逆向校正模型对应到校正前图像中某一像素值，因此采用逆向除法模型校正可以在不损失校正精度的前提下有效避免校正后图像的像素缺失现象，不必进行插值操作。

2.所述的一种基于逆向除法模型的广角镜头图像畸变校正方法，其特征在于：包括如下步骤：

步骤一：对广角摄像机进行张正友标定，获得摄像机的内参矩阵和外参矩阵中的每个分量；

步骤二：先建立正向除法畸变校正的理想校正图像物理坐标点与主点坐标的距离r _u 和畸变后的鱼眼图像物理坐标点与主点坐标的距离r _d 的关系式，在仅考虑径向畸变条件下给出正向除法模型中的校正系数；

步骤三：对标定得到的内参、外参和正向除法模型的校正系数进行非线性求精，得到相对精确的标定参数值；

步骤四：依据直接求逆的方法建立逆向除法校正模型的r _d 和r _u 表达式，再将其转换为校正前后图像像素坐标之间的关系表达式；

步骤五：迭代检验逆向校正模型的校正精度，若满足则进入下一步，不满足要求则返回步骤三；

步骤六：输出最终的校正后图像，作为后续图像辨识、分析、处理使用。