CN101661162A - 基于广角镜头的畸变补偿方法 - Google Patents

Abstract

本发明公开了一种利用三次光滑样条曲线对广角镜头造成的桶形失真进行建模补偿从而达到畸变补偿的技术，它的步骤包括：1)制作同心圆模板，在同心圆圆心打上十字架；2)对准拍取同心圆模板图像，获取模板理想半径值及实测半径值；3)根据两组半径值，利用自然样条曲线构造前向样条曲线和后向样条曲线；4)利用前向样条曲线计算复原图像的大小，利用后向样条曲线，建立畸变补偿映射表；5)根据映射表，利用双线性插值算法计算实现畸变补偿。本发明参与同心圆半径计算的判据点多，使得半径计算精度高，抗噪声能力强；采用样条曲线对桶形失真进行建模实现补偿，计算简单可靠；根据建模结果制作畸变补偿映射表，实现了高效、实时和有效的畸变补偿。

Description

基于广角镜头的畸变补偿方法

技术领域

本发明涉及一种基于广角镜头的高效、实时畸变补偿方法，具体来说，它涉及一种利用三次光滑样条曲线对广角镜头造成的桶形失真进行建模补偿从而达到畸变补偿的技术。

背景技术

广角镜头由于具有很宽的视角和特殊的拍摄效果，因而在摄影、监控及测量和医疗等领域得到广泛应用，例如临床内窥镜和超市防盗监控系统等。如果配以镜头以短焦距的特点，利用广角镜头通常可以在获得目标对象全部成像的同时降低设备的高度，这将非常有利于设备的微型化和便携性，同时还能降低设备的成本。后者是因为在同样高度和焦距的情况下，欲达到同样的全景成像效果，可能需要使用多个成像传感器芯片和图像配准技术。

广角镜头在获得宽视场的同时，也给造成最终成像图像产生严重几何畸变——桶形失真。图像的畸变给特征提取和参数计算带来了困难，特别在监控领域图像畸变也会造成监控者无法清晰判断成像物体，在成像失真程度比较严重时更明显。因此必须对利用广角镜拍摄的图像先进行畸变补偿，以便恢复图像。

另一方面，在上述提及的应用领域中出现的往往是视频流数据，如果视频流中每一帧图像都必须进行畸变补偿，则往往需要很大的计算量，因而设计的畸变补偿方法还必须满足高效性要求，从而能够使广角镜头应用到更多的系统中。

广角镜头所引起的桶形畸变属于非线性变形，它包括切向失真和径向失真。当只考虑径向畸变时，物平面上的物体由于自身不同点到光轴的距离不同，经过广角镜头投影到像平面上将发生以光轴为中心的对称弯曲形变。此时，桶形畸变规律是与物体上不同点到光轴距离R有关的函数：即R越大，畸变越严重；R越小，畸变越小。此外，在越靠近中心的地方，失真越小。由此可知，该失真具有中心无失真性和圆对称性。另一方面，假设该失真是光滑的，由于三次样条本身符合光滑条件，因此可以利用样条曲线对该失真曲线进行逼近。

发明内容

针对以上的不足，本发明提供了一种利用三次光滑样条曲线对广角镜头造成的桶形失真进行建模补偿从而达到畸变补偿的方法。

本发明的基于广角镜头的畸变补偿方法，它包括：

a)制作同心圆模板，获取模板实测图像数据；

b)利用模板实测图像数据进行样条曲线建模；

c)利用样条曲线建模参数制作畸变补偿映射表；

d)根据畸变补偿映射表，利用双线性插值算法实现畸变补偿。

所述步骤a)包括：

a1)制作一个理想半径为R_tk＝(r₀，3r₀，…，(2n-1)r₀)的同心圆；

a2)在同心圆模板的圆心添加一个“十字架”；

a3)在对准图像传感器和同心圆“十字架”的情况下，拍取同心圆模板图像，获取同心圆模板的实测半径R_sk＝(r₁，r₂，…，r_n)；

其中，r₀为同心圆模板的最小半径值，n为同心圆的圆个数，r₁，r₂，…，r_n为同心圆模板的实测值，R_sk表示第k个同心圆的实测半径，r₁为实测最小半径值，r_n为实测最大半径值。

所述步骤b)包括：

b1)定义不同采样半径位置的压缩比S_rk为实测半径值与理想半径值的比值，定义不同采样半径位置的逆压缩比S′_rk为理想半径值与实测半径值的比值：

$S_{\mathrm{rk}}=(S_{r1},S_{r2},\·\·\·,S_{\mathrm{rn}})=R_s/R_t=(r_1/r_0,r_2/r_0,\·\·\·,r_n/(2n-1)r_0)$

S′_rk＝(S′_r1，S′_r2，…，S′_rn)＝R_t/R_s

b2)以实测半径为横轴，压缩比为纵轴构成坐标系构建桶形及变规律曲线S_F＝f(r)，得到三次样条系数矩阵A；

b3)以理想半径为横轴，逆压缩比为纵轴构成坐标系构建桶形及变规律曲线S′_F＝f′(r)，得到三次样条系数矩阵A′；

b4)用两组三次样条曲线拟合桶形畸变规律：

前向样条曲线S_rk对应于S_F＝f(r)，

S_rk＝a_k(r-r_k)³+b_k(r-r_k)²+c_k(r-r_k)+d_k

其中r_k≤r≤r_k+1，1≤k≤n，且r₁＝0，a_k、b_k、c_k、d_k为三次样条系数矩阵A的行系数值；

后向样条曲线S′_rk对应于S′_F＝f′(r)，

S′_rk＝a′_k(r-(2k-1)r₁)³+b′_k(r-(2k-1)r₁)²+c′_k(r-(2k-1)r₁)+d′_k

其中(2k-1)r₁≤r≤(2k+1)r₁，1≤k≤n，且k＝1时令(2k-1)r₁＝0，a′_k、b′_k、c′_k、d′_k为三次样条系数矩阵A′的行系数值。

所述步骤c)包括：

c1)利用前向投影原理求得目标图像的大小；

c2)利用前向投影原理求得失真图像到目标图像的映射表。

本发明的有益效果为：参与同心圆半径计算的判据点多从而有效使得半径计算精度高、抗噪声能力强；采用样条曲线对桶形失真进行建模实现补偿，计算简单、可靠；根据建模结果制作畸变补偿映射表，实现了高效、实时、有效的畸变补偿。

附图说明

图1为发明基于广角镜头的畸变补偿方法的流程图；

图2为用于失真建模的同心圆模板及相应桶形失真示意图；

图3为前向样条建模曲线及后向样条建模曲线示意图；

图4为双线性插值的基本原理图；

图5为原始失真图像及相应的复原图(由于证件涉及私人信息，故在证件图像部分区域进行了信息抹除，下同)。

具体实施方式

下面结合附图对本发明进行进一步阐述。

如图1所示，本发明基于广角镜头的畸变补偿方法包括：

一、制作同心圆模板，获取模板实测图像数据

首先是制作同心圆模板：这些同心圆的间距是按事先指定的比例放置的，具体的比例只是用于确定后述中一组理想半径值，本发明选取同心圆模板之间圆环的间距相同，即同心圆的半径成奇数倍增长，同心圆半径值为：R_tk＝(r₀，3r₀，…，(2n-1)r₀)，其中r₀为同心圆模板的最小半径值，n为同心圆的圆个数，r₁，r₂，…，r_n为同心圆模板的实测值，r₁为实测最小半径值，r_n为实测最大半径值。

然后经过同心圆模板的圆心添加一个“十字架”，图2(a)示例了一个如上所述的同心圆模板。

接着设计一个简单的图像采集程序，比如在Windows平台上，可以利用DirectShow进行开发，该采集程序在采集数据时能够在相应的图像显示窗口中心显示一个虚拟的“十字架”。把广角镜头安装到图像传感器上利用上述采集程序进行同心圆模板成像数据采集。本具体实施例中采用的广角镜头焦距为1.8mm的，视角约为141°。在保证镜头与物平面平行的情况下，令采集程序显示的虚拟“十字架”与同心圆模板上的“十字架”重合，此时可以认为镜头光轴中心近似通过同心圆圆心，并且实现了“对准”，图2(b)示例了对准情况下拍摄到的同心圆失真图像。

对得到的图像进行滤波和二值化，然后进行圆拟合和圆检测，获取同心圆模板的实测半径R_sk＝(r₁，r₂，…，r_n)，本实施例中的测得的数据一组为：R_sk＝[38.00，112.13，175.13，225.00，263.75，293.50，316.25，333.67，348.12，359.70，369.69]；

二、利用模板实测图像数据进行样条曲线建模

首先定义不同采样半径位置的压缩比S_rk为实测半径值与理想半径值的比值，不同采样半径位置的逆压缩比S′_rk为理想半径值与实测半径值的比值：

S_rk＝(S_r1，S_r2，…，S_rn)＝R_s/R_t＝(r₁/r₀，r₂/r₀，…，r_n/(2n-1)r₀)

S′_rk＝(S′_r1，S′_r2，…，S′_rn)＝R_t/R_s

接下来是畸变规律的三次样条曲线拟合，它包括如下三个步骤：

1)以实测半径为横轴，压缩比为纵轴构成坐标系，构建桶形及变规律曲线S_F＝f(r)，这样S_F＝f(r)必然经过点

可得到三次样条系数矩阵A。

以理想半径为横轴，逆压缩比为纵轴构成坐标系，构建桶形及变规律曲线S′_F＝f′(r)，这样S′_F＝f′(r)必然经过点

得到三次样条系数矩阵A′。

2)为了使拟合后的三次样条直线满足整个定义域：0≤r≤max(r)，当r₀较小的时候，修正r₀＝r₁＝0，则S_r1＝S′_r1＝1，则修正后的两条三次样条曲线分别通过

…，(r_n，S_rn)和

3)用两组三次样条曲线拟合桶形畸变规律：

前向样条曲线S_rk对应于S_F＝f(r)，

S_rk＝a_k(r-r_k)³+b_k(r-r_k)²+c_k(r-r_k)+d_k

其中r_k≤r≤r_k+1，1≤k≤n，且r₁＝0，a_k、b_k、c_k、d_k为三次样条系数矩阵A的行系数值；

后向样条曲线S′_rk对应于S′_F＝f′(r)，

S′_rk＝a′_k(r-(2k-1)r₁)³+b′_k(r-(2k-1)r₁)²+c′_k(r-(2k-1)r₁)+d′_k其中(2k-1)r₁≤r≤(2k+1)r₁，1≤k≤n，且k＝1时令(2k-1)r₁＝0，a′_k、b′_k、c′_k、d′_k为三次样条系数矩阵A′的行系数值。

三次样条的确定需要用到光滑条件，即相连曲线在断点处具有相同的一阶导数和二阶导数，此外第一条三次样条曲线和最后一条三次样条曲线需要增加两个约束条件才能确定下来。在我们的发明中，使用了令边界条件中二次导数均为0的方法，即自然样条(Natural Spline)来拟合失真曲线，图3描述了该实施例的前向样条曲线和后向样条曲线拟合结果。

三、利用样条曲线建模参数制作畸变补偿映射表

通过样条曲线对失真曲线进行建模后，可以得到一组刻画桶形失真的模型参数，为了实现对失真图像进行高效、实时复原，可以进一步根据得到的模型参数将其制作成一张畸变补偿映射表，它包含如下2个步骤：

1)利用前向投影原理(Forward Projection)求得目标图像的大小

设失真图像的大小为M×N(宽×高)，则图像的中心为(m₀，n₀)＝(M+1)×(N+1)/2，过该中心以水平向右直线为x轴，垂直向下方向为y轴，建立一个坐标系。值得注意的是，这里的点坐标(m，n)表示y轴分量为m，x轴为n，下同。则不同像素(m，n)到图像中心的距离为：

$r=\sqrt{{(m-m_0)}^2+{(n-n_0)}^2}$

该点与x轴之间的夹角：

$\mathrm{tg\θ}=\frac{m-m_0}{n-n_0}$

计算四个顶点到其中心的距离r，把求得的距离r代入前向样条曲线S_F＝f(r)，就可以得到这些点的压缩比S_rk。由S_rk的定义可知，此时真实的半径应该为：

r_t＝r/s_rk

设该像素点(m，n)在理想图像上的映射的理想位置为(m′，n′)。如果m-m₀≥0，则：

$\left\{\begin{array}{c}{m}^{\′}=m_0-r_t\sin \mathrm{\θ}\\ n^{\′}=n_0+r_t\cos \mathrm{\θ}\end{array}\right.$

如果m-m₀＜0，则有

$\left\{\begin{array}{c}{m}^{\′}=m_0+r_t\sin \mathrm{\θ}\\ n^{\′}=n_0-r_t\cos \mathrm{\θ}\end{array}\right.$

在畸变图形上，当把坐标中心原点平移到中心(m₀，n₀)之后，四个顶点的坐标为：[±(m₀-1)，±(n₀-1)]的不同组合。由于假设的模型认为切向没有失真，因而这些点在目标图像中的方向与在失真图像上的方向相同。因而目标图像四个顶点的坐标在所建立的x-y坐标系中的坐标位置可以分别计算。设计算得到的四个点为：左上角(m_lt，n_lt)，右上角(m_rt，n_rt)，左下角(m_lb，n_lb)，右下角(m_rb，n_rb)，则理想图像的大小P×Q，其中：

$\left\{\begin{array}{c}P=\max \{m_{\mathrm{lb}}-m_{\mathrm{lt}},m_{\mathrm{rb}}-m_{\mathrm{rt}}\}\\ Q=\max \{n_{\mathrm{rt}}-n_{\mathrm{lt}},n_{\mathrm{rb}}-n_{\mathrm{rt}}\}\end{array}\right.$

2)利用后向投影原理(Backward Projection)求得失真图像到目标图像的映射表

从步骤1)中可知，在已经目标图像大小的情况下，如果我们将目标图像所有像素初始化为全零值。接着依次遍历失真图像所有像素，计算该像素在目标图像上的具体位置——若为非整数点则采用一定的办法进行取整，这样便得到一张复原图。但是，由于目标图像比原失真图像大，因而目标图像上的所有点不可能每一点都被覆盖，因此便产生了前向投影问题(Forward Projection Problem)。在桶形畸变复原中将产生些类似水纹的人为噪声，即使使用中值滤波对校正后的图像处理，也无法很好的解决。

解决前向投影的办法是使用后向投影。这时需要利用前述的后向样条曲线。由于第一步获得了目标图像的大小之后，新图像中心的坐标为(p₀，q₀)＝(P+1)×(Q+1)/2。建立以目标图像中心为原点的一个新的坐标：以水平向右直线为x轴，垂直向下方向为y轴。

遍历目标图像上的任一个像素(p，q)，在平移之后的新坐标中该点坐标为(p-p₀，q-q₀)，它与x轴之间的夹角

那么该像素到图像中心的距离为：

$r_t=\sqrt{{(p-p_0)}^2+{(q-q_0)}^2}$

把求得的距离r_t代入后向样条曲线S_B＝f′(r)，就可以得到这些点的逆压缩比S′_rk。由S′_rk的定义可知，此时对应的失真图像上的半径应该为：

r_d＝r_t/S′_rk

设在映射到失真图像上的点为(p′，q′)。同样，由于角度α保持不变，因此，如果p-p₀≥0，则

$\left\{\begin{array}{c}{p}^{\′}=m_0-r_d\sin \mathrm{\α}\\ q^{\′}=n_0+r_d\cos \mathrm{\α}\end{array}\right.$

如果p-p₀＜0，则有

$\left\{\begin{array}{c}{p}^{\′}=m_0+r_d\sin \mathrm{\α}\\ q^{\′}=n_0-r_d\cos \mathrm{\α}\end{array}\right.$

其中(m₀，n₀)＝(M+1)×(N+1)/2，即为第一步中的失真图像的中心点坐标。

按目标图像Dst(p，q)中的坐标，由第一行起从左至右，从上至下的方法，即按如下的顺序扫描整个图像坐标空间：(1，1)，(1，2)...(1，Q)...(2，1)，(2，2)...(2，Q)，...(P，1)，(P，2)...(P，Q)，便能够求得目标图上的点映射到失真图像上的点的位置Src(p′，q′)，这样便制成了一张畸变补偿映射表Map。

四、根据畸变补偿映射表，利用双线性插值算法实现畸变补偿

最后一步操作是利用已经建立的畸变补偿映射表，并采用双线性插值算法实现畸变补偿。在上述遍历整个Dst(p，q)图像坐标过程中，由整数值像素点(p，q)计算得到的像素位置(p′，q′)可能为非整数，而图像像素空间只能在整数空间中定义，因而在(p′，q′)点上没有灰度定义。此时需要引入一种新的技术，即灰度级插补技术：通过基于整数坐标的灰度值推断那些非整数位置的灰度值。本发明使用)双线性插值法实现灰度插补。双线性插值又称为双线性内插，其核心思想是在两个方向上分别进行一次线性插值。在数字图像上，则是利用4个邻近点的灰度值在两个方向上作线性插值。

假设在像素坐标系r-c坐标中，待求点P，坐标为(r，c)的坐标上的值为f(P)＝f(r，c)，邻近的四个点的坐标分别为：M₁₁＝(r₁，c₁)、M₁₂＝(r₁，c₂)、M₂₁＝(r₂，c₁)、M₂₂＝(r₂，c₂)，其值分别为f(M₁₁)、f(M₁₂)、f(M₂₁)、f(M₂₂)。如图4所示：

首先在c方向上进行插值：

where R₁＝(r₁，c)

where R₂＝(r₂，c)

接着在r方向上进行线性插值，得：

$f\left(P\right)=f(r,c)\≈\frac{r_2-r}{r_2-r_1}f\left(R_1\right)+\frac{r-r_1}{r_2-r_1}f\left(R_2\right)$

可得：

$f\left(P\right)=f(r,c)$

$\≈\frac{(r_2-r)(c_2-c)}{(r_2-r_1)(c_2-c_1)}f\left(M_{11}\right)+\frac{(r_2-r)(c-c_1)}{(r_2-r_1)(c_2-c_1)}f\left(M_{12}\right)+$

$\frac{(r-r_1)(c_2-c)}{(r_2-r_1)(c_2-c_1)}f\left(M_{21}\right)+\frac{(r-r_1)(c-c_1)}{(r_2-r_1)(c_2-c_1)}f\left(M_{12}\right)$

在像素空间中，可以利用相邻像素点坐标差为1这个特点简化式中分母的运算，从而大大提高计算速度。

双线性插值法具有计算简单、几何上准确度较高、能克服灰度不连续等优点，使复原的图像尽可能的保持平滑。其缺点是由于亮度内插，图像的光谱信息发生了变化，易造成高频成分的损失，使图像变的模糊。

图5(a)(b)示例了桶形畸变补偿前后的畸变图像和复原图像。对于周边红色部分，是因为那一部分目标图像像素点映射到原始失真图像的时候落在有效区间的外部，导致不存在有效的邻域像素使之进行灰度值插补操作，因此只是简单的用指定的填充值对其进行填充。图中所示的填充值FillValue为：(255，0，0)。从畸变补偿前后的图像比对中可以看出，经过畸变补偿之后，整幅图像特别是比较靠中间的部分，基本上得到了很好地还原了。

此外，针对复原的图像的有效区域比完整复原后的图像要小得多的事实依据，我们对完整复原图像目标大小进行了限制，即当复原图像高度P与宽度Q分别大于某些值时，则直接进行截取而肯定不会损坏有效图像区域，而且还可以大大减少计算量，即在制作映射表的时候可以只考虑中心P×Q的区域。在图5(c)所示的图像中：

原始的：P＝1210，Q＝1614；

经过截取后：P＝800，Q＝1000。

Claims (4)

1、一种基于广角镜头的畸变补偿方法，其特征在于，它包括：

a)制作同心圆模板，获取模板实测图像数据；

b)利用模板实测图像数据进行样条曲线建模；

c)利用样条曲线建模参数制作畸变补偿映射表；

d)根据畸变补偿映射表，利用双线性插值算法实现畸变补偿。

2、根据权利要求1所述的基于广角镜头的畸变补偿方法，其特征在于，所述步骤a)包括：

a1)制作一个理想半径为R_tk＝(r₀，3r₀，…，(2n-1)r₀)的同心圆；

a2)在同心圆模板的圆心添加一个“十字架”；

a3)在对准图像传感器和同心圆“十字架”的情况下，拍取同心圆模板图像，获取同心圆模板的实测半径R_sk＝(r₁，r₂，…，r_n)；

其中，r₀为同心圆模板的最小半径值，n为同心圆的圆个数，k表示第k个同心圆，r₁，r₂，…，r_n为同心圆模板的实测值，r₁为实测最小半径值，r_n为实测最大半径值。

3、根据权利要求2所述的基于广角镜头的畸变补偿方法，其特征在于，所述步骤b)包括：

b1)定义不同采样半径位置的压缩比S_rk为实测半径值与理想半径值的比值，定义不同采样半径位置的逆压缩比S′_rk为理想半径值与实测半径值的比值：

S_rk＝(S_r1，S_r2，…，S_rn)＝R_s/R_t＝(r₁/r₀，r₂/r₀，…，r_n/(2n-1)r₀)

S′_rk＝(S′_r1，S′_r2，…，S′_rn)＝R_t/R_s

b2)以实测半径为横轴，压缩比为纵轴构成坐标系构建桶形畸变规律曲线S_F＝f(r)，得到三次样条系数矩阵A；

b3)以理想半径为横轴，逆压缩比为纵轴构成坐标系构建桶形畸变规律曲线S′_F＝f′(r)，得到三次样条系数矩阵A′；

b4)定义当r₀较小时，修正r₀＝r₁＝0，则S_r1＝S′_r1＝1；

b5)用两组三次样条曲线拟合桶形畸变规律：

前向样条曲线S_rk对应于S_F＝f(r)，

S_rk＝a_k(r-r_k)³+b_k(r-r_k)²+c_k(r-r_k)+d_k

其中r_k≤r≤r_k+1，1≤k≤n，且r₁＝0，a_k、b_k、c_k、d_k为三次样条系数矩阵A的行系数值；

后向样条曲线S′_rk对应于S′_F＝f′(r)，

S′_rk＝a′_k(r-(2k-1)r₁)³+b′_k(r-(2k-1)r₁)²+c′_k(r-(2k-1)r₁)+d′_k

其中(2k-1)r₁≤r≤(2k+1)r₁，1≤k≤n，且k＝1时令(2k-1)r₁＝0，a′_k、b′_k、c′_k、d′_k为三次样条系数矩阵A′的行系数值。

4、根据权利要求3所述的基于广角镜头的畸变补偿方法，其特征在于，所述步骤c)包括：

c1)利用前向投影原理求得目标图像的大小；

c2)利用前向投影原理求得失真图像到目标图像的映射表。

Images