CN104537616A - 鱼眼图像畸变的校正方法 - Google Patents

Abstract

本发明公开了一种鱼眼图像畸变的校正方法，该方法首先获取标准测试网格板的鱼眼图像和该鱼眼图像实际图像；然后得到的鱼眼图像进行畸变测量，根据极坐标模型对畸变系数进行标定；然后根据校正模型进行校正，为保证校正精度，校正时按中心视场、中间视场、边缘视场分段校正；最后用双线性插值法对空间变换后的像素赋予相应的灰度值以恢复原来位置的灰度值。本反面运算简便，测量精度高，能很容易在EPGA、DSP等硬件系统中实现。有很高的实用价值。

Description

鱼眼图像畸变的校正方法

技术领域

本发明属于大视场成像技术中图像处理技术领域，具体属于一种鱼眼图像畸变的校正方法。

背景技术

普通摄像机的镜头拍摄的视场角范围较小，所拍摄的图像不能尽可能有效地反应所拍摄场景的全部信息。着信号处理的速度发展、网络传输广泛应用、计算机处理速度的提高，鱼眼镜头由于简洁而高质量获得的超大视场图像而获得广泛的应用，现如今鱼眼镜头在视觉观察，视觉测量与定位、视觉导航、视觉计算等领域都发挥着重要的作用。

鱼眼镜头是一种超广角的特殊镜头，其视觉效果类似于鱼眼观察水面上的景物，鱼的眼睛水晶体是圆球形，拥有更大的视角，也就是看得更加广阔。在工程上将视场角2ω＞120°的相机称为鱼眼相机，鱼眼相机通过引入有益的非线性畸变，实现视场的成像压缩，达到超大视场角成像的目的。

鱼眼镜头由于自身的优点被广泛应用于各个领域，但鱼眼镜头拍摄的图像采用高斯成像公式会存在非线性误差，人为的引入了大量畸变。畸变的存在不利于图像的辨认、分析和判断。如果我们想利用这些具有严重变形图像的信息，那么就需要将这些具有严重变形的图像校正为符合人们视觉习惯的透视投影图像。

为了校正鱼眼图像的畸变，国内外已进行了大量的实验研究工作，大体有如下几种：(1)球面投影型是一种常用的方法，把鱼眼镜头成像面看成一个球面。这种方法需要预先知道鱼眼图像的光学中心和变换球面的半径，因此，现有的方法只适用于具有圆形区域的鱼眼图像；(2)抛物面成像模型把鱼眼睛镜头成像面看成一个抛物面。在恢复场景深度时可以得到更加精确的效果，但用该模型计算过于复杂。实际当中很少应用；(3)3D鱼眼图像畸变校正，包括投影转换和鱼眼镜头标定两种方法。具体上是把鱼眼图像上每个2D像平面点映射到3D场景投影构成的2D平面点。根据图像像素点和对应光线3D向量间关系，来实现校正。

上述校正方法存在模型复杂、测量困难的缺点。

发明内容

对于极坐标畸变校正模型，针对传统的构造投影模型、从2D和3D空间进行变换等方法因为算法模型复杂，测量困难，较难在工程上实现的缺点，本发明提出了一种鱼眼图像畸变的校正方法，该方法利用畸变系数标定方法并且运用双线性插值法进行灰度插值，容易实现，使待校正图像得到了较好的恢复。

本发明给出以下技术方案：

鱼眼图像畸变的校正方法，具体包括以下步骤：

1】获取标准测试网格板的鱼眼图像和该鱼眼图像对应的实际图像；

2】对步骤1】得到的鱼眼图像进行畸变测量；

2.1】在鱼眼图像上任意选取4个点，测量这4个点与鱼眼图像的中心之间的距离，

2.2】步骤2.1】中的4个点在实际图像中分别对应4个点，测量实际图像中的这4个点与实际图像的中心之间的距离，

2.3】按照公式(1)计算畸变系数，

$r_1=a_0+a_1{r}_0+a_2{r}_0^2+a_3{r}_0^3---\left(1\right),$

设鱼眼图像上有一点A，实际图像上有一点B，点B是鱼眼图像上的点A对应的实际图像中的点，r1为点A与鱼眼图像的中心之间的距离，r0为点B与实际图像的中心之间的距离，a0、a1、a2和a3分别为畸变系数；

根据步骤2.1】和步骤2.2】测量得到的各个距离，分别代入公式(1)，得到4个多项式，通过这4个多项式，得到a0、a1、a2和a3；

3】将待校正图像的中心为第一笛卡儿坐标的原点，待校正图像为鱼眼图像，待校正图像上存在点P1，点P1在第一笛卡儿坐标上的坐标记为P₁(x₁，y₁)，将点P1变换到极坐标系下，在极坐标系下的坐标为P₁(r₁，θ)；

与待校正图像对应的实际图像的中心为第二笛卡儿坐标的原点，由公式(1)求得点P1在与待校正图像对应的实际图像上的点的极坐标(r₀，θ)，将极坐标(r₀，θ)对应的点记为P₀，根据三角函数计算公式，求得点P₀在第二笛卡儿坐标的坐标，该坐标记为P₀(x₀，y₀)，即为待校正图像校正后的的空间信息；

4】将点P1的灰度值赋予点P₀对应的像素点，

5】与待校正图像对应的实际图像上的剩余的未赋予灰度值的像素点，用双线性插值法确定每个像素点的灰度值，得到待校正图像校正后的图像。

述步骤3】中的点P1有至少4个，按照步骤3】得到与点P1相同数量的点P₀在第二笛卡儿坐标的坐标；

所述步骤5】中的双线性插值法为：设未赋予灰度值的像素点在第二笛卡儿坐标的坐标为点P′(x′，y′)，点P′的4个最近的点P₀，分别记为C、D、G和H，C、D、G和H的坐标分别为(i，j)，(i+1，j)，(i，j+1)，(i+1，j+1)，C、D、G和H的灰度值分别为g(C)、g(D)、g(G)和g(H)，设存在点E和点F，根据公式(2)和公式(3)计算点E和点F的灰度值g(E)和g(F)：

g(E)＝(x′-i)[g(D)-g(C)]+g(C)   (2)

g(F)＝(x′-i)[g(H)-g(G)]+g(G)   (3)

则点P′(x′，y′)点的灰度值g(x′，y′)按照公式(4)计算：

g(x′，y′)＝(y′-j)[g(F)-g(E)]+g(E)   (4)。

上述步骤1】中获取标准测试网格板的鱼眼图像的方法是：

1.1】将相机固定在支架上，把标准测试网格板垂直放置在相机前，相机与监视器相连，监视器用于显示相机采集到的图像；

1.2】调整标准测试网格板，使相机的光轴与标准测试网格板垂直且通过标准测试网格板的中心；

调整标准测试网格板与相机之间的距离，将标准测试网格板充满整个监视器的视场；

1.3】用相机对标准测试网格板拍照，得到标准测试网格板的鱼眼图像。

上述步骤2】中的鱼眼图像的像素点中，存在与鱼眼图像的中心距离最大像素点，该像素点与鱼眼图像的中心之间的距离为L，以鱼眼图像的中心为圆心0，半径L/3的鱼眼图像占据的区域为中心视场，半径2L/3的鱼眼图像占据的区域中，去掉中心视场剩余的鱼眼图像占据的区域为中间视场，鱼眼图像中，去掉中心视场和中间视场，剩余的鱼眼图像占据的区域为边缘视场。

所述步骤2.1】具体如下：

分别在鱼眼图像的中心视场、中间视场和边缘视场任意选取4个点，测量所选取的每个点与鱼眼图像的中心之间的距离；

所述步骤2.2】具体如下：

步骤2.1】中所选取的每个点在实际图像中分别对应相应的点，测量实际图像中的这些点与实际图像的中心之间的距离；

所述步骤2.3】具体如下：

按照公式(1)计算畸变系数，

$r_1=a_0+a_1{r}_0+a_2{r}_0^2+a_3{r}_0^3---\left(1\right),$

根据步骤2.1】和步骤2.2】测量得到的各个距离，分别代入公式(1)，得到中心视场的4个多项式、中间视场的4个多项式和边缘视场的4个多项式，通过这些多项式，可分别得到中心视场的畸变系数、中间视场和边缘视场的畸变系数；

所述步骤5】中，

若点P1位于中心视场，则在公式(1)中，a0、a1、a2和a3为中心视场的畸变系数，

若点P1位于中间视场，则在公式(1)中，a0、a1、a2和a3为中间视场的畸变系数，

若点P1位于边缘视场，则在公式(1)中，a0、a1、a2和a3为边缘视场的畸变系数。

上述步骤3】中的点P1，在中心视场、中间视场和边缘视场分别有至少4个。

步骤1.1】中相机的视场角128°×95.2°，标准测试网格板与相机之间的间距为1.5cm；

步骤2】中，中心视场范围为0≤L/3≤80mm，中间视场为0＜2L/3≤110mm，边缘视场为110mm＜L。

上述步骤3】中的点P1位于标准测试网格板的网格交点处。

上述步骤1】中的标准测试网格板是网格间距为2cm正方形标准测试网格板。

上述步骤5】中待校正图像校正后的图像是无畸变图像。

本发明具有以下技术效果：

本发明利用笛卡尔坐标和极坐标进行鱼眼图像畸变的空间校正，同时利用双线性插值法对每个像素点赋予相应的灰度值，与其他方法相比，这种方法在实际应用中测量、运算简便，准确度高，能非常方便的在硬件系统中实现。

附图说明

图1是本发明流程图；

图2是标准测试网格板成像的示意图；

图3是光学系统畸变曲线；

图4是标准测试网格板的鱼眼图像；

图5是图4校正后的图像；

图6是待校正图像(待校正图像是鱼眼图像)；

图7是图6校正后的图像。

具体实施方式

本发明提供了一种鱼眼图像畸变的校正方法，具体包括以下步骤：

1】获取标准测试网格板的鱼眼图像和该鱼眼图像对应的实际图像；

1.1】将摄像装置固定在支架上，把标准测试网格板垂直放置在摄像装置前，将摄像装置称为相机，相机与监视器相连，监视器用于显示相机采集到的图像；调整标准测试网格板与相机之间的距离，将标准测试网格板边缘充满整个监视器的视场；其中，支架可选用六维调整架，标准测试网格板可以选用网格间距为1.5-2cm正方形标准测试网格板；相机可采用视场角为128°×95.2°的相机；

1.2】调整标准测试网格板，使相机的光轴与标准测试网格板垂直且通过标准测试网格板的中心；

1.3】用相机对标准测试网格板拍照，得到标准测试网格板的鱼眼图像；

4】对步骤1】得到的鱼眼图像进行畸变测量，

4.1】在鱼眼图像上任意选取4个点，测量这4个点与鱼眼图像的中心之间的距离，

4.2】步骤4.1】中的4个点在实际图像中分别对应4个点，测量实际图像中的这4个点与实际图像的中心之间的距离，

4.3】按照公式(1)计算畸变系数，

$r_1=a_0+a_1{r}_0+a_2{r}_0^2+a_3{r}_0^3---\left(1\right),$

设鱼眼图像上有一点A，实际图像上有一点B，点B是鱼眼图像上的点A对应的实际图像中的点，r1为点A与鱼眼图像的中心之间的距离，r0为点B与实际图像的中心之间的距离，a0、a1、a2和a3分别为畸变系数；

根据步骤4.1】和步骤4.2】测量得到的各个距离，分别代入公式(1)，得到4个多项式，通过这4个多项式，得到a0、a1、a2和a3；

5】将待校正图像的中心为第一笛卡儿坐标的原点，待校正图像为鱼眼图像，待校正图像上存在点P1，点P1最好位于标准测试网格板的网格交点处，点P1在第一笛卡儿坐标上的坐标记为P₁(x₁，y₁)，将点P1变换到极坐标系下，在极坐标系下的坐标为P₁(r₁，θ)；

与待校正图像对应的实际图像的中心为第二笛卡儿坐标的原点，由公式(1)求得点P1在与待校正图像对应的实际图像上的点的极坐标(r₀，θ)，将极坐标(r₀，θ)对应的点记为P₀，根据三角函数计算公式，求得点P₀在第二笛卡儿坐标的坐标，该坐标记为P₀(x₀，y₀)，即为待校正图像校正后的的空间信息；

6】将点P1的灰度值赋予点P₀对应的像素点，

7】与待校正图像对应的实际图像上的剩余的未赋予灰度值的像素点，用双线性插值法确定每个像素点的灰度值，得到待校正图像校正后的无畸变图像。

其中，

步骤1.2】具体如下：标准测试网格板为方形，标准测试网格板的中心和四个边的中点处分别有一个十字叉丝，若监视器的显示面也为方形，通过视频叠加器在监视器的中心生成一个十字叉丝，，使监视器中的十字叉丝与标准测试网格板的中心的十字叉丝重合，同时还要保证标准测试网格板的四个边上的的十字叉丝与中心的十字叉丝在一条直线上，才能保证相机的光轴与标准测试网格板垂直且通过标准测试网格板的中心。

步骤4】中的鱼眼图像的像素点中，存在与鱼眼图像的中心距离最大像素点，该像素点与鱼眼图像的中心之间的距离为L，以鱼眼图像的中心为圆心0，半径L/3的鱼眼图像占据的区域为中心视场，半径2L/3的鱼眼图像占据的区域中，去掉中心视场剩余的鱼眼图像占据的区域为中间视场，鱼眼图像中，去掉中心视场和中间视场，剩余的鱼眼图像占据的区域为边缘视场；

将相机输出的标准测试网格板的鱼眼图像输入主机进行畸变测量，因为畸变量随着像元位置与光学中心的距离的变化而变化，因此，为了减小误差，在校正时分段进行，将鱼眼图像分为三段，按中心视场、中间视场和边缘视场测出相应视场的畸变系数a₀、a₁、a₂、a₃；

若L＞110mm，中心视场范围可为0≤L/3≤80mm，中间视场可为0＜2L/3≤110mm。

所述步骤4.1】具体如下：

分别在鱼眼图像的中心视场、中间视场和边缘视场任意选取4个点，测量所选取的每个点与鱼眼图像的中心之间的距离；

所述步骤4.2】具体如下：

步骤4.1】中所选取的每个点在实际图像中分别对应相应的点，测量实际图像中的这些点与实际图像的中心之间的距离；

所述步骤4.3】具体如下：

按照公式(1)计算畸变系数，

$r_1=a_0+a_1{r}_0+a_2{r}_0^2+a_3{r}_0^3---\left(1\right),$

根据步骤4.1】和步骤4.2】测量得到的各个距离，分别代入公式(1)，得到中心视场的4个多项式、中间视场的4个多项式和边缘视场的4个多项式，通过这些多项式，可分别得到中心视场的畸变系数、中间视场和边缘视场的畸变系数；

所述步骤5】中，

若点P1位于中心视场，则在公式(1)中，a0、a1、a2和a3为中心视场的畸变系数，

若点P1位于中间视场，则在公式(1)中，a0、a1、a2和a3为中间视场的畸变系数，

若点P1位于边缘视场，则在公式(1)中，a0、a1、a2和a3为边缘视场的畸变系数。

步骤5】中的点P1有至少4个，按照步骤5】得到与点P1相同数量的点P₀在第二笛卡儿坐标的坐标；最好是在中心视场、中间视场和边缘视场分别有至少4个点P1；

步骤7】中的双线性插值法为：设未赋予灰度值的像素点在第二笛卡儿坐标的坐标为点P′(x′，y′)，点P′的4个最近的点P₀，分别记为C、D、G和H，C、D、G和H的坐标分别为(i，j)，(i+1，j)，(i，j+1)，(i+1，j+1)，C、D、G和H的灰度值分别为g(C)、g(D)、g(G)和g(H)，设存在点E和点F，根据公式(2)和公式(3)计算点E和点F的灰度值g(E)和g(F)：

g(E)＝(x′-i)[g(D)-g(C)]+g(C)   (2)

g(F)＝(x′-i)[g(H)-g(G)]+g(G)   (3)

则点P′(x′，y′)点的灰度值g(x′，y′)按照公式(4)计算：

g(x′，y′)＝(y′-j)[g(F)-g(E)]+g(E)   (4)

将公式(4)得到的灰度值赋予相应的像素点。

正方形标准测试网格板的鱼眼图像校正前图4，校正后如图5所示，达到畸变小于5％的较好的视觉效果。

图6为待校正图像，图7为待校正图像图6校正后的图像。可以看出校正的结果能较好地纠正图像的几何畸变，图像得到较好的恢复，从而能更准确地进行图像的后续处理和定量分析。可以看到本发明的测量和校正方法是行之有效的。

步骤4】对于鱼眼图像上失真的任一点(像元)A，对应的在实际图像不失真在B点，A与鱼眼图像的中心之间的距离为r1，点B与实际图像的中心之间的距离为r0，则失真前后满足公式(5)：

$r_1=a_0+a_1{r}_0+a_2{r}_0^2+a_3{r}_0^3+......a_3{r}_0^3=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{a}_i{r_0}^n---\left(5\right)$

由于畸变与视场的三次方成正比，因此多项式次数必须在3次或者3次以上。为了降低程序运行时间，提高实时性，在满足一定精度要求的情况下，忽略高次项，引入三次多项式来拟合曲线，即将曲线拟合得到公式(1)：

$r_1=a_0+a_1{r}_0+a_2{r}_0^2+a_3{r}_0^3---\left(1\right).$

本发明利用笛卡尔坐标和极坐标进行鱼眼图像畸变的空间校正，同时利用双线性插值法对每个像素点赋予相应的灰度值，与其他方法相比，这种方法在实际应用中测量、运算简便，准确度高，能非常方便的在硬件系统中实现。

本发明的校正思路为：

1、固定摄像装置于六维调整架上，对标准测试网格板进行拍摄来，提取鱼眼图像的特征点进行测量。根据笛卡儿坐标和极坐标之间的变换确定特征点的畸变量。

2、根据测量计算出的特征点的畸变量，按照像元距轴心的距离按视场分三段进行极坐标模型的畸变参数确定。

3、根据视场计算出鱼眼图像的畸变参数，根据校正模型进行校正，得到无畸变像素的空间数据。

4、用双线性插值法对空间变换后的像素赋予相应的灰度值以恢复原来位置的灰度值，由此就得到了鱼眼图像的无畸变图像。

Claims (9)

1.鱼眼图像畸变的校正方法，具体包括以下步骤：

1】获取标准测试网格板的鱼眼图像和该鱼眼图像对应的实际图像；

2】对步骤1】得到的鱼眼图像进行畸变测量；

2.1】在鱼眼图像上任意选取4个点，测量这4个点与鱼眼图像的中心之间的距离，

2.2】步骤2.1】中的4个点在实际图像中分别对应4个点，测量实际图像中的这4个点与实际图像的中心之间的距离，

2.3】按照公式(1)计算畸变系数，

$r_1=a_0+a_1{r}_0+a_2{r}_0^2+a_3{r}_0^3---\left(1\right),$

设鱼眼图像上有一点A，实际图像上有一点B，点B是鱼眼图像上的点A对应的实际图像中的点，r1为点A与鱼眼图像的中心之间的距离，r0为点B与实际图像的中心之间的距离，a0、a1、a2和a3分别为畸变系数；

根据步骤2.1】和步骤2.2】测量得到的各个距离，分别代入公式(1)，得到4个多项式，通过这4个多项式，得到a0、a1、a2和a3；

3】将待校正图像的中心为第一笛卡儿坐标的原点，待校正图像为鱼眼图像，待校正图像上存在点P1，点P1在第一笛卡儿坐标上的坐标记为P₁(x₁，y₁)，将点P1变换到极坐标系下，在极坐标系下的坐标为P₁(r₁，θ)；

与待校正图像对应的实际图像的中心为第二笛卡儿坐标的原点，由公式(1)求得点P1在与待校正图像对应的实际图像上的点的极坐标(r₀，θ)，将极坐标(r₀，θ)对应的点记为P₀，根据三角函数计算公式，求得点P₀在第二笛卡儿坐标的坐标，该坐标记为P₀(x₀，y₀)，即为待校正图像校正后的的空间信息；

4】将点P1的灰度值赋予点P₀对应的像素点；

5】与待校正图像对应的实际图像上的剩余的未赋予灰度值的像素点，用双线性插值法确定每个像素点的灰度值，得到待校正图像校正后的图像。

2.根据权利要求1所述的鱼眼图像畸变的校正方法，其特征在于：

所述步骤3】中的点P1有至少4个，按照步骤3】得到与点P1相同数量的点P₀在第二笛卡儿坐标的坐标；

所述步骤5】中的双线性插值法为：设未赋予灰度值的像素点在第二笛卡儿坐标的坐标为点P′(x′，y′)，点P′的4个最近的点P₀，分别记为C、D、G和H，C、D、G和H的坐标分别为(i，j)，(i+1，j)，(i，j+1)，(i+1，j+1)，C、D、G和H的灰度值分别为g(C)、g(D)、g(G)和g(H)，设存在点E和点F，根据公式(2)和公式(3)计算点E和点F的灰度值g(E)和g(F)：

g(E)＝(x′-i)[g(D)-g(C)]+g(C)   (2)

g(F)＝(x′-i)[g(H)-g(G)]+g(G)   (3)

则点P′(x′，y′)点的灰度值g(x′，y′)按照公式(4)计算：

g(x′，y′)＝(y′-j)[g(F)-g(E)]+g(E)   (4)。

3.根据权利要求1或2所述的鱼眼图像畸变的校正方法，其特征在于：

所述步骤1】中获取标准测试网格板的鱼眼图像的方法是：

1.1】将相机固定在支架上，把标准测试网格板垂直放置在相机前，相机与监视器相连，监视器用于显示相机采集到的图像；

1.2】调整标准测试网格板，使相机的光轴与标准测试网格板垂直且通过标准测试网格板的中心；

调整标准测试网格板与相机之间的距离，将标准测试网格板充满整个监视器的视场；

1.3】用相机对标准测试网格板拍照，得到标准测试网格板的鱼眼图像。

4.根据权利要求3所述的鱼眼图像畸变的校正方法，其特征在于：

所述步骤2】中的鱼眼图像的像素点中，存在与鱼眼图像的中心距离最大像素点，该像素点与鱼眼图像的中心之间的距离为L，以鱼眼图像的中心为圆心0，半径L/3的鱼眼图像占据的区域为中心视场，半径2L/3的鱼眼图像占据的区域中，去掉中心视场剩余的鱼眼图像占据的区域为中间视场，鱼眼图像中，去掉中心视场和中间视场，剩余的鱼眼图像占据的区域为边缘视场；

所述步骤2.1】具体如下：

分别在鱼眼图像的中心视场、中间视场和边缘视场任意选取4个点，测量所选取的每个点与鱼眼图像的中心之间的距离；

所述步骤2.2】具体如下：

步骤2.1】中所选取的每个点在实际图像中分别对应相应的点，测量实际图像中的这些点与实际图像的中心之间的距离；

所述步骤2.3】具体如下：

按照公式(1)计算畸变系数，

$r_1=a_0+a_1{r}_0+a_2{r}_0^2+a_3{r}_0^3---\left(1\right),$

根据步骤2.1】和步骤2.2】测量得到的各个距离，分别代入公式(1)，得到中心视场的4个多项式、中间视场的4个多项式和边缘视场的4个多项式，通过这些多项式，可分别得到中心视场的畸变系数、中间视场和边缘视场的畸变系数；

所述步骤5】中，

若点P1位于中心视场，则在公式(1)中，a0、a1、a2和a3为中心视场的畸变系数，

若点P1位于中间视场，则在公式(1)中，a0、a1、a2和a3为中间视场的畸变系数，

若点P1位于边缘视场，则在公式(1)中，a0、a1、a2和a3为边缘视场的畸变系数。

5.根据权利要求4所述的鱼眼图像畸变的校正方法，其特征在于：所述步骤3】中的点P1，在中心视场、中间视场和边缘视场分别有至少4个。

6.根据权利要求5所述的鱼眼图像畸变的校正方法，其特征在于：

步骤1.1】中相机的视场角128°×95.2°，标准测试网格板与相机之间的间距为1.5cm；

步骤2】中，中心视场范围为0≤L/3≤80mm，中间视场为0＜2L/3≤110mm，边缘视场为110mm＜L。

7.根据权利要求6所述的鱼眼图像畸变的校正方法，其特征在于：所述步骤3】中的点P1位于标准测试网格板的网格交点处。

8.根据权利要求7所述的鱼眼图像畸变的校正方法，其特征在于：所述步骤1】中的标准测试网格板是网格间距为2cm正方形标准测试网格板。

9.根据权利要求8所述的鱼眼图像畸变的校正方法，其特征在于：所述步骤5】中待校正图像校正后的图像是无畸变图像。