CN107689033A - 一种基于椭圆分割的鱼眼图像畸变校正方法 - Google Patents

Abstract

本发明公开了一种基于椭圆分割的鱼眼图像畸变校正方法，属于机器视觉技术领域。主要步骤为计算鱼眼图像的中心坐标和半径，将鱼眼图像转化成标准圆形式，用两条对角线将鱼眼图像分割成四部分，每部分用椭圆曲线的一部分进行拟合；校正过程中采用坐标映射表记录鱼眼图像与校正图之间的坐标映射关系，因此，只需计算一次坐标映射关系即可，算法效果好，实时性好，适用于鱼眼图像的实时校正显示。

Description

一种基于椭圆分割的鱼眼图像畸变校正方法

技术领域

本发明属于机器视觉技术领域，具体涉及一种基于椭圆分割的鱼眼图像畸变校正方法。

背景技术

鱼眼镜头是一种超广角镜头，视野可以达到170°～185°,为使镜头达到最大的视角，镜头的前镜片直径很短且呈抛物状向镜头前部凸出。鱼眼镜头焦距短、视角大，其成像点与理想成像点之间存在几何光学误差，也称为畸变.鱼眼镜头的畸变主要包括径向畸变和切向畸变，鱼眼镜头的径向畸变主要特点是中心无畸变，离中心越远，畸变越严重。鱼眼镜头的切向畸变是由于透镜本身不与图像平面平行所造成的。国内外针对鱼眼图像畸变提出的校正算法很多，主要有：

根据选择鱼眼镜头的投影模型从而恢复图像信息。

a.球面投影模型:将鱼眼镜头成像面视为球面，所成的像为一个圆形的像，但要求先确定镜头的光学中心及投影模型的球面半径，应用范围局限为圆形鱼眼图像，对于不能拍摄180^O空域的鱼眼镜头应用性不强。b.抛物面投影模型:同上，只是将球面改为抛物面，该模型与前者相比，计算起来更加复杂，获得的景深效果较好。

根据平面(2D)展开或立体图像(3D)展开。

a.2D展开:直接求出校正前后图像的坐标之间的对应关系，不需要考虑空间点的位置信息。应用这种变换的方法包括多项式坐标变换及改进、射影不变性、球面坐标定位以及根据极坐标映射校正鱼眼图像的畸变。b.3D展开:利用3D空间考虑投影变形进行畸变校正，考虑到鱼眼图像的空间点信息。应用这种变换的鱼眼图像校正方法有标定鱼眼镜头和利用投影模型转换图像信息。

综上，基于投影模型的校正方法虽然效果良好，但是无法完整地将鱼眼图像校正到一张图像上；根据平面(2D)展开的校正算法，虽然能够将鱼眼图像完整地校正在一张图上，但是不能同时将鱼眼图像两个维度的像素都校正良好，而且边缘的畸变仍然很严重；根据立体图像(3D)展开的校正算法比较有代表性的是标定校正法，该法需要事先获得相机的参数和畸变参数，校正效果良好，但是存在图像的信息损失。

发明内容

本发明的目的在于提供对鱼眼图像的四个部分根据其畸变特点分别校正，在一张图像上完整显示信息的一种基于椭圆分割的鱼眼图像畸变校正方法。

本发明的目的通过如下技术方案来实现：

一种椭圆分割的鱼眼图像畸变校正方法,包括以下步骤：

步骤1、利用基于极限亮差的中值扫描法得到鱼眼图像的中心坐标和径。

步骤1.1、所谓极限亮差法就是位图中某一行(列)中像素的最大亮度与最小亮度之差。彩色图像的亮度可以通过公式I＝0.59·r+0.11·g+0.3·b计算得到,其中I表示亮度，r表示红色通道像素值，g表示绿色通道像素值，b表示蓝色通道像素值。极限亮差I_lim＝I_max-I_min，其中I_lim为该行或列的极限亮差，I_max为该行或列的最大亮度差，I_min该行或列的最小亮度差。

步骤1.2、所谓中值扫描算法就是先扫描鱼眼图像的边缘线l₀，再扫描鱼眼图像中线l_m，接着扫描图像的线，如果扫描的线l_m'对应的极限亮度差I_lim≥T，其中I_lim为极限亮度差，T为设定的阈值，则令l_m＝l_m'，否则令l₀＝l_m'，再扫描图像的线，如此循环，当|l₀-l_m|≤1时，停止循环，且l_m即为有效区的边缘线，这种方法可以大大减少扫描的像素个数，减少计算量。利用该方法可以分别求出鱼眼图像有效区域的上下左右边缘线：top,bottom,left,right。

步骤1.3、计算鱼眼图像的中心坐标(x₀,y₀)和半径R_y,R_y：

步骤2、利用透视变换将鱼眼图像转化成标准圆形式,标准圆的半径是R_x和R_y中的最大值。透视变换的变换矩阵K是：

当R_x>R_y时，

当R_x≤R_y时，

步骤3、用两条对角线将鱼眼图像分割成四部分，每部分用椭圆曲线的一部分进行拟合，将椭圆曲线上的像素点映射到连接椭圆曲线两端的水平线(竖直线)上即可完成矫正。以鱼眼图像的中心为原点，水平向右的射线为零度线。当鱼眼图像的像素点位于-45°到+45°之间或者+135°到+225°时，将该像素点放置在长轴在竖直方向的椭圆曲线段上，该椭圆曲线段的端点位于椭圆与对角线的交点上，此时，两个交点连接成一个线段，将椭圆曲线上的像素点水平投影到该竖直线段上，即可完成这两部分的校正。当鱼眼图像的像素点位于+45°到+135°之间或者+225°到+315°时，将该像素点放置在长轴在水平方向的椭圆曲线段上，该椭圆曲线段的端点位于椭圆与对角线的交点上，此时，两个交点连接成一个水平线段，将椭圆曲线上的像素点竖直投影到该水平线段上，即可完成这两部分的校正。

步骤3.1、椭圆曲线的长轴为鱼眼图像的半径R,短轴的长度可以由校正后直线的位置来确定，校正后直线段与对角线的交点就是椭圆曲线的端点。

步骤3.2、鱼眼图像四个部分的像素映射公式是不同的：

当时

当时

当i＝R时

上述公式中(i,j)为校正图像的像素位置，(x,y)为对应的鱼眼图像的像素位置，R为鱼眼图像的半径。根据上述映射公式找到校正图像的像素位置(i,j)对应的鱼眼图像的像素位置(x,y)并将该位置的像素值复制给校正图像的像素位置(i,j)，即实现了鱼眼图像的校正。

本发明的有益效果在于：

该方法对鱼眼图像的四个部分根据其畸变特点分别校正，解决了2D展开算法中无法将鱼眼图像水平和竖直两个方向同时良好校正的情况，该发明因为是分成四个部分校正，所以图像的四个边缘部分都得到了良好的校正，基于椭圆分割解决了基于圆分割算法中对中心图像的过度校正，同时该发明校正后的图像相比原图没有信息丢失，解决了标定算法和投影算法不可以将完整的鱼眼图像校正在一张图像上的问题。

附图说明

图1为本发明具体实施方式的一种基于椭圆分割的鱼眼图像畸变校正方法中的流程图；

图2为本发明具体实施方式的鱼眼图像有效区域提取的流程图；

图3为本发明具体实施方式的一种基于椭圆分割的鱼眼图像畸变校正方法的校正原理图；

图4为本发明具体实施方式的一种基于椭圆分割的鱼眼图像畸变校正方法的校正效果图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

本实施方式的软件环境是WINDOWS7,运行环境为Microsoft Visual Studio2013,基于Teledyne DALSA相机的鱼眼图像采集系统。

本实施方式的基于椭圆分割的鱼眼图像校正方法，如图1所示，包括以下步骤：

步骤1、利用基于极限亮差的中值扫描法得到鱼眼图像的中心坐标和半径,如图2所示。

步骤1.1、所谓极限亮差法就是位图中某一行(列)中像素的最大亮度与最小亮度之差。彩色图像的亮度可以通过公I＝0.59·r+0.11·g+0.3·b计算得到,其中I表示亮度，r表示红色通道像素值，g表示绿色通道像素值，b表示蓝色通道像素值。极限亮差I_lim＝I_max-I_min，其中I_lim为该行或列的极限亮差，I_max为该行或列的最大亮度差，I_min该行或列的最小亮度差。最大或最小亮度差的求法：计算某一行或某一列的第一个像素的亮度，并将该亮度预设为最大或者最小值，继续计算下一个像素的亮度值，并将该亮度值与最大或者最小值比较，如果该亮度值小于最小值，则将其置为最小，如果该亮度大于最大值，则将其置为最大值，如此循环，可以得到该行或列的极限亮度I_max和I_min。

步骤1.2、所谓中值扫描算法就是先扫描鱼眼图像的边缘线l₀，再扫描鱼眼图像中线l_m，接着扫描图像的线，如果扫描的线l_m'对应的极限亮度差I_lim≥T，其中I_lim为极限亮度差，T为设定的阈值，则令l_m＝l_m'，否则令l₀＝l_m'，再扫描图像的线，如此循环，当|l₀-l_m|≤1时，停止循环，且l_m即为有效区的边缘线，这种方法可以大大减少扫描的像素个数，减少计算量。利用该方法可以分别求出鱼眼图像有效区域的上下左右边缘线：top,bottom,left,right。

步骤1.3、计算鱼眼图像的中心坐标(x₀,y₀)和半径R_y,R_y：

步骤2、利用透视变换将鱼眼图像转化成标准圆形式,标准圆的半径是R_x和R_y中的最大值。透视变换的变换矩阵K是：

当R_x>R_y时，

当R_x≤R_y时，

步骤3、用两条对角线将鱼眼图像分割成四部分，如图3所示，每部分用椭圆曲线的一部分进行拟合，将椭圆曲线上的像素点映射到连接椭圆曲线两端的水平线(竖直线)上即可完成矫正。以鱼眼图像的中心为原点，水平向右的射线为零度线。当鱼眼图像的像素点位于-45°到+45°之间或者+135°到+225°时，将该像素点放置在长轴在竖直方向的椭圆曲线段上，该椭圆曲线段的端点位于椭圆与对角线的交点上，此时，两个交点连接成一个线段，将椭圆曲线上的像素点水平投影到该竖直线段上，即可完成这两部分的校正。当鱼眼图像的像素点位于+45°到+135°之间或者+225°到+315°时，将该像素点放置在长轴在水平方向的椭圆曲线段上，该椭圆曲线段的端点位于椭圆与对角线的交点上，此时，两个交点连接成一个水平线段，将椭圆曲线上的像素点竖直投影到该水平线段上，即可完成这两部分的校正。

步骤3.1、椭圆曲线的长轴为鱼眼图像的半径R,短轴的长度可以由校正后直线的位置来确定，校正后直线段与对角线的交点就是椭圆曲线的端点。

步骤3.2、鱼眼图像四个部分的像素映射公式是不同的：

当时

当时

当i＝R时

上述公式中(i,j)为校正图像的像素位置，(x,y)为对应的鱼眼图像的像素位置，R为鱼眼图像的半径。根据上述映射公式找到校正图像的像素位置(i,j)对应的鱼眼图像的像素位置(x,y)并将该位置的像素值复制给校正图像的像素位置(i,j)，即实现了鱼眼图像的校正。

Claims (7)

1.一种基于椭圆分割的鱼眼图像畸变校正方法，其特征在于，包括以下步骤：

步骤1、利用基于极限亮差法的中值扫描算法得到鱼眼图像的中心坐标和半径；

步骤2、利用透视变换将鱼眼图像转化成标准圆形式,标准圆的半径是R_x和R_y中的最大值；

步骤3、用两条对角线将鱼眼图像分割成四部分，每部分用椭圆曲线的一部分进行拟合，将椭圆曲线上的像素点映射到连接椭圆曲线两端的水平线上。

2.根据权利要求1所述的一种基于椭圆分割的鱼眼图像畸变校正方法，其特征在于，所述的步骤一中极限亮差法为：

彩色图像的亮度计算公式：

I＝0.59·r+0.11·g+0.3·b

其中I表示亮度，r表示红色通道像素值，g表示绿色通道像素值，b表示蓝色通道像素值；

极限亮差：

I_lim＝I_max-I_min

其中I_lim为该行或列的极限亮差，I_max为该行或列的最大亮度差，I_min该行或列的最小亮度差；

最大或最小亮度差的求法：计算某一行或某一列的第一个像素的亮度，并将该亮度预设为最大或者最小值，继续计算下一个像素的亮度值，并将该亮度值与最大或者最小值比较，如果该亮度值小于最小值，则将其置为最小，如果该亮度大于最大值，则将其置为最大值，如此循环。

3.根据权利要求1所述的一种基于椭圆分割的鱼眼图像畸变校正方法，其特征在于，所述的步骤一中中值扫描算法为：

先扫描鱼眼图像的边缘线l₀，再扫描鱼眼图像中线l_m，接着扫描图像的线，如果扫描的线l_m'对应的极限亮度差I_lim≥T，其中I_lim为极限亮度差，T为设定的阈值，则令l_m＝l_m'，否则令l₀＝l_m'，再扫描图像的线，如此循环，当|l₀-l_m|≤1时，停止循环，且l_m即为有效区的边缘线，求出鱼眼图像有效区域的上下左右边缘线：top,bottom,left,right。

4.根据权利要求1，2，3所述的一种基于椭圆分割的鱼眼图像畸变校正方法，其特征在于，所述的步骤一中计算鱼眼图像的中心坐标(x₀,y₀)和半径R_y,R_y的公式为：

<mrow> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mi>l</mi> <mi>e</mi> <mi>f</mi> <mi>t</mi> <mo>+</mo> <mi>r</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> </mrow> <mn>2</mn> </mfrac> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mi>t</mi> <mi>o</mi> <mi>p</mi> <mo>+</mo> <mi>b</mi> <mi>o</mi> <mi>t</mi> <mi>t</mi> <mi>o</mi> <mi>m</mi> </mrow> <mn>2</mn> </mfrac> </mrow>

<mrow> <msub> <mi>R</mi> <mi>x</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>r</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> <mo>-</mo> <mi>l</mi> <mi>e</mi> <mi>f</mi> <mi>t</mi> </mrow> <mn>2</mn> </mfrac> <mo>,</mo> <msub> <mi>R</mi> <mi>y</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>b</mi> <mi>o</mi> <mi>t</mi> <mi>t</mi> <mi>o</mi> <mi>m</mi> <mo>-</mo> <mi>t</mi> <mi>o</mi> <mi>p</mi> </mrow> <mn>2</mn> </mfrac> <mo>.</mo> </mrow>

5.根据权利要求1所述的一种基于椭圆分割的鱼眼图像畸变校正方法，其特征在于，所述的步骤二中透视变换的变换矩阵K为：

当R_x>R_y时，

当R_x≤R_y时，

6.根据权利要求1所述的一种基于椭圆分割的鱼眼图像畸变校正方法，其特征在于，所述的步骤三具体为：

以鱼眼图像的中心为原点，水平向右的射线为零度线；

当鱼眼图像的像素点位于-45°到+45°之间或者+135°到+225°时，将该像素点放置在长轴在竖直方向的椭圆曲线段上，该椭圆曲线段的端点位于椭圆与对角线的交点上，此时，两个交点连接成一个线段，将椭圆曲线上的像素点水平投影到该竖直线段上；

当鱼眼图像的像素点位于+45°到+135°之间或者+225°到+315°时，将该像素点放置在长轴在水平方向的椭圆曲线段上，该椭圆曲线段的端点位于椭圆与对角线的交点上，此时，两个交点连接成一个水平线段，将椭圆曲线上的像素点竖直投影到该水平线段上。

7.根据权利要求1，6所述的一种基于椭圆分割的鱼眼图像畸变校正方法，其特征在于，所述的步骤三中：

椭圆曲线的长轴为鱼眼图像的半径R,短轴的长度可以由校正后直线的位置来确定，校正后直线段与对角线的交点就是椭圆曲线的端点；

鱼眼图像四个部分的像素映射公式为：

当时

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>x</mi> <mo>=</mo> <mi>i</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>j</mi> <mo>-</mo> <mi>R</mi> <mo>)</mo> <mo>&amp;CenterDot;</mo> <msqrt> <mrow> <msup> <mi>R</mi> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <mi>R</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> <msqrt> <mrow> <msup> <mi>R</mi> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mi>j</mi> <mo>-</mo> <mi>R</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>+</mo> <mi>R</mi> </mtd> </mtr> </mtable> </mfenced>

当时

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <mi>R</mi> <mo>)</mo> <mo>&amp;CenterDot;</mo> <msqrt> <mrow> <msup> <mi>R</mi> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mi>j</mi> <mo>-</mo> <mi>R</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> <msqrt> <mrow> <msup> <mi>R</mi> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <mi>R</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>+</mo> <mi>R</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> <mo>=</mo> <mi>j</mi> </mtd> </mtr> </mtable> </mfenced>

当i＝R时

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>x</mi> <mo>=</mo> <mi>R</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> <mo>=</mo> <mi>j</mi> </mtd> </mtr> </mtable> </mfenced>

其中(i,j)为校正图像的像素位置，(x,y)为对应的鱼眼图像的像素位置，R为鱼眼图像的半径；

根据上述映射公式找到校正图像的像素位置(i,j)对应的鱼眼图像的像素位置(x,y)并将该位置的像素值复制给校正图像的像素位置(i,j)。