CN114331826A - 一种基于畸变拉伸因子的鱼眼图像快速校正方法 - Google Patents

Abstract

本发明公开了一种基于畸变拉伸因子的鱼眼图像快速校正方法，提取鱼眼图像有效区域；在经度校正模型基础上建立基于畸变拉伸因子的鱼眼图像校正模型；确定模型中的畸变拉伸因子的值，建立空白的校正图像内的像素坐标与鱼眼图像有效区域的亚像素坐标之间的映射关系，完成坐标映射及进行灰度插值，获得鱼眼图像的对应校正图像。本发明在考虑径向畸变影响的基础上，在横向、纵向两个方向上进行鱼眼图像校正，具有算法简洁、实时性强、易于嵌入式设备和移动式设备的移植的特点，且校正效果好。

Description

一种基于畸变拉伸因子的鱼眼图像快速校正方法

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种鱼眼图像快速校正方法。

背景技术

普通相机所采用的镜头的拍摄视角范围比较小，为了反映所拍摄场景的全部内容信息，可以使用鱼眼镜头。鱼眼镜头是一种短焦距、大视角(视角在180°到270°之间)镜头，利用其视角大的特点，采用鱼眼镜头可以拍摄获得比利用普通相机拍摄的图像包含更大信息量的鱼眼图像，并且相机在工作时鱼眼镜头不需要旋转和扫描，体积小、使用方便简单。因此鱼眼镜头在狭隘空间或空间位置受到限制的区域进行质量检测时被广泛使用。

鱼眼镜头之所以可以比普通相机的镜头获得更大视角范围，其原因在于它们之间的镜头模型不同。大多数镜头都是按照针孔相机模型进行设计，其依据光线是沿直线方向传播，并且两直线交点经过变换仍是两直线相交的点，即几何性质保持不变，所以拍摄的图像与原场景能够紧密地联系起来。但这种模型下的镜头存在一个缺陷，即光线始终沿直线传播，使得镜头难以捕捉位于场景边缘的物体。而在底片(CMOS)的尺寸有限的情况下，鱼眼镜头可以较普通相机的镜头捕获到更多的位于边缘的景物。

目前，鱼眼图像的校正方法根据是否需要标定可以分为基于标定的鱼眼镜头畸变校正方法与基于投影变换模型的校正方法两大类。其中，基于标定的校正方法主要是通过设置标定块，例如棋盘格、同心圆、点阵模板等对鱼眼镜头的内外参数进行标定，在得到镜头内外参数的基础上校正鱼眼图像，但该方法需要围绕多个参数进行繁琐的实验与函数计算，而且求解的参数与鱼眼镜头的类型也密切相关。基于投影变换模型的校正方法则是根据透视投影的成像原理建立数学模型，通过找到鱼眼图像到目标图像之间的映射关系，从而将畸变的图像还原成符合人类视觉习惯的透视投影图像，但这种方法往往计算量很大、过程复杂，难以满足检测应用要求。

基于经度坐标的鱼眼图像校正模型，即经度校正模型描述了鱼眼图像中的像素点坐标与校正后图像中的像素点坐标的函数对应关系。经度校正模型在校正时是将鱼眼图像中像素的横坐标变换到原来的位置、纵坐标不变，从而将圆形的鱼眼图像有效区域变换成正方形，其在基于投影变换模型的校正方法中属于计算相对较为容易的一种。但针对畸变程度不同的鱼眼图像，由于鱼眼图像有效区域的半径是固定值，此时无法根据对鱼眼图像的畸变进行适应性调整，导致用经度校正模型进行校正后会产生比较严重的过度校正或校正程度不足的情况。并且该模型只对纵向的畸变进行了校正，横向上依然存在十分严重的畸变。

发明内容

为了克服现有技术中的不足，本发明提供一种基于畸变拉伸因子的鱼眼图像快速校正方法，该方法能有效校正鱼眼图像的畸变，提升鱼眼图像校正速度及校正质量。

为达到上述目的，本发明采用了以下技术方案：

一种基于畸变拉伸因子的鱼眼图像快速校正方法，包括以下步骤：

步骤1：提取鱼眼图像有效区域；

步骤2：在经度校正模型基础上建立校正优化模型，校正优化模型中引入有用于消除径向畸变影响的畸变拉伸因子(即建立基于畸变拉伸因子的鱼眼图像校正模型)；

步骤3：确定校正优化模型中的畸变拉伸因子的值，然后建立空白的校正图像内的像素坐标与鱼眼图像有效区域的亚像素坐标之间的映射关系；

步骤4：根据建立的映射关系生成鱼眼图像的对应校正图像。

优选的，所述步骤1具体包括以下步骤：采用亮度阈值判断法确定鱼眼图像有效区域的边界，然后计算鱼眼图像有效区域的圆心及半径，得到鱼眼图像的畸变中心及畸变半径。

优选的，所述步骤2中，经度校正模型表示为：

其中，(x₀,y₀)为鱼眼图像像素坐标系下畸变中心坐标，(x,y)为鱼眼图像像素坐标系下像素点坐标，(u,v)为校正后的图像像素坐标系下像素点坐标，R为鱼眼图像的畸变半径。

优选的，所述步骤2中，校正优化模型表示为：

其中，k*为畸变拉伸因子。

优选的，所述步骤3中，通过利用畸变拉伸因子的隐式表达式进行数值求解，确定畸变拉伸因子的值。

优选的，所述步骤3中，通过从默认值区间[1.12,1.56]选取数值，确定畸变拉伸因子的值。

优选的，所述步骤4具体包括以下步骤：在完成空白的校正图像内的像素坐标与鱼眼图像有效区域的亚像素坐标之间的坐标映射后进行灰度插值。

优选的，所述灰度插值采用向后映射的反向插值法。

一种基于畸变拉伸因子的鱼眼图像快速校正系统，包括鱼眼图像提取模块、空白图像建立模块、坐标映射模块及空白图像像素赋值模块；

所述鱼眼图像提取模块用于读取输入的鱼眼图像以及提取鱼眼图像有效区域；

所述空白图像建立模块用于根据上述校正优化模型生成空白的校正图像；

所述坐标映射模块用于在确定校正优化模型中的畸变拉伸因子的值后建立空白的校正图像内的像素坐标与鱼眼图像有效区域的亚像素坐标之间的映射关系；

所述空白图像像素赋值模块用于根据所述映射关系生成鱼眼图像的对应校正图像。

本发明的有益效果体现在：

本发明基于经度校正模型，并通过引入畸变拉伸因子，在考虑径向畸变影响的基础上，在横向、纵向两个方向上进行鱼眼图像校正。相较于传统基于经度坐标的鱼眼图像校正方法，本发明具有算法简洁、实时性强、易于嵌入式设备和移动式设备的移植的特点，并且校正后图像与真实景物差异小，校正效果好。

进一步的，本发明在没有明显提高校正复杂度的情况下，具有了可以提升精准度的灵活性。即在可以确定参数的场合，只需要根据求解结果调整畸变拉伸因子这一个参数以提高校正准确性；在难以确定参数的场合，可以利用设定的参数默认值进行数值选择以提高校正准确性。

附图说明

图1为本发明实施例中基于畸变拉伸因子的鱼眼图像快速校正方法的流程图。

图2为本发明实施例中建立经度校正模型的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。所述实施例仅用于解释本发明，而非对本发明保护范围的限制。

实施例1

如图1所示，本发明提出的基于畸变拉伸因子的鱼眼图像快速校正方法，是通过在经度校正模型中加入畸变拉伸因子，而获得的对鱼眼图像进行适应性校正的方法，包括以下步骤：

步骤1提取鱼眼图像有效区域。

计算鱼眼图像像素点的像素亮度值I(x,y)：

I(x,y)＝0.59r(x,y)+0.11g(x,y)+0.3b(x,y)

其中r(x,y)、g(x,y)、b(x,y)分别为鱼眼图像中坐标为(x,y)的像素点的红、绿、蓝三个颜色的分量。

设定一个阈值T，T的作用是用来判断鱼眼图像有效区域的边界，T的数值大小在20-50之间。读取鱼眼图像左侧第1、2、3…列像素点的像素亮度值，直至扫描(逐列读取)到的当前列中有一个像素点的像素亮度值大于T，继续读取下一列像素点的像素亮度值，当该列中与前一列中像素亮度值大于T的像素点相邻的像素点的像素亮度值依然大于T时，这个时候则认为已经扫描到鱼眼图像有效区域的左边界(将所述前一列作为有效区域左边界)，按此方法可以分别求得鱼眼图像有效区域的左、右、上、下边界，依次计算这些边界与鱼眼图像左下角位置处像素点的距离，结果分别记为left、right、top、bottom。

此时，可以直接写出鱼眼图像的畸变半径R及畸变中心坐标(x₀,y₀)，从而确定圆形的鱼眼图像有效区域：

步骤2在考虑径向畸变的影响下，建立并求解畸变校正模型，从而描述鱼眼图像像素坐标系下的畸变中心坐标、鱼眼图像像素坐标系下的有效区域像素点坐标及校正后的图像的像素坐标系下的像素点坐标之间的关系。

步骤2.1建立基于经度坐标的鱼眼图像校正模型。

在经度图中，像素坐标的方程为：

x²+y²＝R²

其中R为经度圆的半径。

参见图2，在建立经度校正模型中，假设校正前图像上任意一点A(x,y)通过校正变为校正后图像上的点B(u,v)，这两个点在零纬度线上的投影分别为C(x,y₀)和D(u,y₀)，且已知有效区域的圆心为O(x₀,y₀)、半径为R，根据勾股定理可得：

进一步可以得到经度校正模型：

步骤2.2引入畸变拉伸因子k*。

鱼眼图像的径向畸变是图像中像素点以畸变中心为中心点，沿着径向产生位置偏差，从而导致图像中的景物发生的形变。图像径向畸变是鱼眼镜头成像过程引发的最主要的畸变，同时也是对成像结果校正影响最大的畸变，公式表述为：

其中，(u,v)为校正后的图像的像素坐标系下像素点坐标，(x,y)为鱼眼图像像素坐标系下像素点坐标，r为畸变点到中心点的距离，r²＝x²+y²；δ_x(x,y)和δ_y(x,y)分别为x轴和y轴的畸变量；k_n为畸变系数(n＝1,2,3,…；k₁为低次项，k₂、k₃…为高次项)。

本发明在考虑径向畸变的影响基础上，提出了畸变拉伸因子k*，其含义是将图像中所有点到图像中心的距离拉伸k*倍。

步骤2.3建立基于畸变拉伸因子的鱼眼图像校正模型。

在上述经度坐标模型的基础上，通过加入畸变拉伸因子k*，建立鱼眼图像畸变校正模型：

步骤2.4计算畸变拉伸因子。

根据步骤2.2中的公式，令OA＝k*R，并略去对畸变影响很小的高次项，得：

k^*OA＝OB(1+k₁OB²)

根据两点间的距离公式有：

进一步整理可得到关于k*的隐式表达式：

其中

带入待校正的鱼眼图像(即步骤1获得的鱼眼图像有效区域)进行具体数值求解；根据实际情况调整k*的数值，以将该图像中边界扭曲的畸变曲线(经线)校正为直线为准，根据此时畸变拉伸因子的值，获得最终鱼眼图像畸变校正模型及映射关系。

步骤3根据上述鱼眼图像畸变校正模型提供空白的校正图像(空白的校正图像与待校正的鱼眼图像相匹配，空白的校正图像比待校正的鱼眼图像稍大)，建立空白的校正图像内的像素点坐标与待校正的鱼眼图像中亚像素坐标之间的映射关系，从而完成坐标映射。

步骤4完成坐标映射后进行灰度插值，得到校正图像。

具体的，对待校正的鱼眼图像中与空白的校正图像像素点存在映射关系的亚像素坐标进行向后映射的反向插值，得到亚像素值，将所得亚像素值赋予所述空白的校正图像内的对应像素点。这样可以保证鱼眼图像经校正后所得图像(即校正图像)边缘缺失少。

实施例2

考虑到提取有效区域后待校正图像的大小，此时|x-x₀|和|y-y₀|一般在350-550之间，带入该图像中特殊点(图像的左顶点、右顶点、上顶点、下顶点)计算k*的值，取均值之后算得k*的值在1.12-1.56之间比较符合实际需求(例如取k*＝1.2)，由此确定了k*默认值区间，在简化校正流程的同时，仍可通过调整k*保证较高的校正准确性。

Claims (9)

1.一种基于畸变拉伸因子的鱼眼图像快速校正方法，其特征在于：包括以下步骤：

1)提取鱼眼图像有效区域；

2)在经度校正模型基础上建立校正优化模型，校正优化模型中引入有用于消除径向畸变影响的畸变拉伸因子；

3)确定校正优化模型中的畸变拉伸因子的值，然后建立空白的校正图像内的像素坐标与鱼眼图像有效区域的亚像素坐标之间的映射关系；

4)根据建立的映射关系生成鱼眼图像的对应校正图像。

2.根据权利要求1所述一种基于畸变拉伸因子的鱼眼图像快速校正方法，其特征在于：所述步骤1具体包括以下步骤：采用亮度阈值判断法确定鱼眼图像有效区域的边界，然后计算鱼眼图像有效区域的圆心及半径，得到鱼眼图像的畸变中心及畸变半径。

3.根据权利要求1所述一种基于畸变拉伸因子的鱼眼图像快速校正方法，其特征在于：所述步骤2中，经度校正模型表示为：

其中，(x₀,y₀)为鱼眼图像像素坐标系下畸变中心坐标，(x,y)为鱼眼图像像素坐标系下像素点坐标，(u,v)为校正后的图像像素坐标系下像素点坐标，R为鱼眼图像的畸变半径。

4.根据权利要求1或3所述一种基于畸变拉伸因子的鱼眼图像快速校正方法，其特征在于：所述步骤2中，校正优化模型表示为：

其中，(x₀,y₀)为鱼眼图像像素坐标系下畸变中心坐标，(x,y)为鱼眼图像像素坐标系下像素点坐标，(u,v)为校正后的图像像素坐标系下像素点坐标，R为鱼眼图像的畸变半径，k*为畸变拉伸因子。

5.根据权利要求1所述一种基于畸变拉伸因子的鱼眼图像快速校正方法，其特征在于：所述步骤3中，通过利用畸变拉伸因子的隐式表达式进行数值求解，确定畸变拉伸因子的值。

6.根据权利要求1所述一种基于畸变拉伸因子的鱼眼图像快速校正方法，其特征在于：所述步骤3中，通过从默认值区间[1.12,1.56]选取数值，确定畸变拉伸因子的值。

7.根据权利要求1所述一种基于畸变拉伸因子的鱼眼图像快速校正方法，其特征在于：所述步骤4具体包括以下步骤：在完成空白的校正图像内的像素坐标与鱼眼图像有效区域的亚像素坐标之间的坐标映射后进行灰度插值。

8.根据权利要求7所述一种基于畸变拉伸因子的鱼眼图像快速校正方法，其特征在于：所述灰度插值采用向后映射的反向插值法。

9.一种基于畸变拉伸因子的鱼眼图像快速校正系统，其特征在于：包括鱼眼图像提取模块、空白图像建立模块、坐标映射模块及空白图像像素赋值模块；

所述鱼眼图像提取模块用于读取输入的鱼眼图像以及提取鱼眼图像有效区域；

所述空白图像建立模块用于根据校正优化模型生成空白的校正图像，校正优化模型建立在经度校正模型基础上，并引入有用于消除径向畸变影响的畸变拉伸因子；

所述坐标映射模块用于在确定校正优化模型中的畸变拉伸因子的值后建立空白的校正图像内的像素坐标与鱼眼图像有效区域的亚像素坐标之间的映射关系；

所述空白图像像素赋值模块用于根据所述映射关系生成鱼眼图像的对应校正图像。

Images