CN103426149A - 大视角图像畸变的校正处理方法 - Google Patents

Abstract

本发明公开了一种大视角图像畸变的校正处理方法，包括S1、对校正后图像中的任一点计算它到图像中心的距离，即理想像高；S2、采用经过改进的畸变率公式，计算该点对应的畸变率D；S3、由畸变率D计算该点对应的畸变点坐标；S4、采用双线性插值法，用得到的畸变坐标对相应的理想坐标点的像素值进行插值，得到校正后的图像；本发明的畸变校正近似模型，可以方便的得到各点的畸变率，从而由理想点的坐标计算对应的畸变点坐标，避免了在校正后的图像上产生“空洞”现象；本发明不需要制定特定的模板对镜头畸变参数进行标定，从而免去了计算参数时的大量迭代运算，更加简单，易于在硬件上实现，并且当图像尺寸较大时，能有效减少计算时间，通用性好。

Description

大视角图像畸变的校正处理方法

技术领域

本发明涉及图像处理技术领域，更具体地说，特别涉及一种大视角图像畸变的校正处理方法。

背景技术

近年来，随着计算机技术的快速发展，图像处理应用越来越广泛和深入，因此对于具有较大视场图像的需求也越来越迫切。如医用电子内窥镜、银行、交通或超市专用监视系统、车载监控等各个方面，都需要大视场图像。广角镜头可以获得比普通镜头大的视场角图像，从而获得更多的目标信息。然而，广角镜头的大视角又不可避免的带来了成像的几何畸变，其中最主要的便是桶形畸变，只有大约10%的视场可以被看作是理想的图像，并且镜头焦距越短，能够获得的视场角越大，而形变也就越严重。

针对广角镜头的成像畸变，人们提出了许多校正算法，现在基于数字图像处理技术的研究方法一般有以下几种：基于平面模板的校正方法、基于参数的校正方法、基于图像自身特征的校正方法。还有一些其他的方法，如基于神经网络的校正方法，其精确度高，并且有自学习能力，但是非常耗时的。而基于平面模板的校正方法需要一个特定类型的模板，常用的模板类型有网格模板，如Tsai、廖士中等提出了基于网格模板的三次多项式算法，有圆形模板，如基于圆形模板的校正方法[Hideaki Haneishi, Yutaka Yagihash, Yoiehi Miyake.A new method for distortion correction of electronicendoscope images [J].IEEE, 1995, 14:548-555]，还有Smith提出的得用六角型点阵的样板图像[Smith, W.E. Correction of distortion in endoscopes images [J]. IEEE Transactionson Medical Imaging.1992, 11:117-120]等等，这种方法是基于特定的模板，因此只能在对该模板取样的特定环境下拍摄的图像进行校正才有意义。而基于图像自身特征的校正方法，是基于特定类型的图像的一种方法。如文本图像，便可根据文本行的畸变信息来提取图像的畸变参数进而对图像进行桶形校正。基于参数的校正方法不需要制作模板，仅需要一些特定参数（如焦距等）便可以实施畸变校正[韩广良，宋建中.一种基于畸变等效曲面的图像畸变校正[J].光学技术，2005(l):122-124]。这种方法是数字图像处理技术和光学处理技术的折中，利用镜头的某些光学特定参数在拍摄中所表现出的特定特征来对图像进行校正。

畸变是由于镜头的存在而引入的失常，是由光线通过镜头中心时产生的偏离而形成。由于制造、安装、工艺等原因，镜头存在着各种畸变，如径向畸变、离心畸变和薄凌镜畸变等。切向畸变是由于镜头系统中镜片中心没有重合造成的。径向畸变的主要原因是光学镜头径向曲率的变化，从而导致图像的扭曲变形，会产生桶形畸变和枕形畸变。通过研究表明[田原嫄;黄合成.基于CCD摄像机成像的径向畸变研究[J].世界科技研究与发展，2008（2）：168-170]，影响畸变的主要因子是径向畸变，其他畸变因子对主畸变影响不大，基本可以忽略不计。

理想光学系统能产生清晰的、与物体完全相似的像，并且具有旋转对称性。如图1所示，用最前表面M和最后表面M'示意代表一个光学系统。OO'为其光轴，由物点A发出许多光线，若系统是理想的，则所有光线经过光学系统中一系列光学表面的折射（或反射）后进入像空间后都通过同一点A'。A'是A的清晰像点，OA为物高，OA'为像高。对于具有相同物距的物点及其对应的像点都有相同的放大率，即

。因此理想光学系统所成的像与物有完全相似的几何形状。

实际的光学系统一般都不具有理想成像性质，在靠近光轴的很小范围内，即光线与光轴的夹角很小时，具有理想光学系统的性质。一般的镜头视场角较小，可近似为理想光学系统，图像没有产生明显的畸变。

然而，随着镜头视场角度的增大，实际光学系统中由于透镜各部分的折射作用不同而引起同一色光的像差现象也更加明显，对同一距离的物体的不同部分的放大率不同而产生变形。桶形畸变是边缘部分的放大率小于中心部分的畸变，即

，而枕形畸变是中心部分放大率小于边缘部分的畸变，也就是。

这种畸变只依赖于目标点到镜头坐标轴的距离，或者是光线从目标点到镜头中心的连线与坐标轴所成的夹角大小。当镜头焦距f一定时，目标离光轴的距离越远，目标的放大率也随着像差现象的产生而减小，如图2所示，目标A实际的像点为A'，目标B实际的像点为B'，光学系统的实际焦点为F，那么，A的理想成像点为A1，有

；若目标离光轴的距离不变，焦距f减小，像距随之变化，目标的放大率则比理想的放大率小的越多，畸变越明显，如图2，当焦距减小（焦点为F'）时，A的理想成像点为A2，目标的放大率也越小，即为

。

由以上的分析可看出，桶形失真可以看成像素点向心沿着径向收缩，且随着目标距光轴距离的增加，收缩率增大。因此，在物距u一定的情况下，可以就当是一个焦距随着目标离光轴距离变化而变化的理想成像系统。如果让焦距f随着像点距中心距离的增大而减小，则可使失真图像中的像素离心的沿着径向按不同膨胀率增大，用焦距的变化对应图像畸变的规律，建立与之对应的校正模型，从而实现几何失真校正。

为了衡量图像的畸变程度,我们引入了畸变率这个概念。其定义为：，其中，η为实际成像高度；H为理想成像高度；D为畸变率。根据定义可知，当图像发生枕形畸变时，实际成像高度在于理想成像高度，畸变率应为正数；当发生桶形畸变时，实际成像高度小于理想成像高度，畸变率为负数。由上述公式可推出像点的实际成像位置η：η=(1+D)×H，而这种方法，关键是要知道各个像点成像的畸变率D，然后利用公式η=(1+D)×H计算出它所对应的畸变点的坐标，完成校正过程。要获得镜头确切的畸变率，可以通过实地测量镜头的畸变率，但是这种方法需要专门的光学系统来实现，而且在大多数情况下，并不能得到图像来源于何种镜头，也无法对每种镜头都进行测量。我们利用畸变的校正模型来得到畸变率的近似值。

而国内外的研究者对广角镜头畸变校正提出了许多校正模型，常用的有非线性畸变模型【Fr′ ed′ eric Devernay, Olivier Faugeras .Straight lines have to be straight：Automatic calibration and removal of distortion from scenes ofstructured environments [J]. Machine Vision and Applications.2001, 13(1): 14-24】、FOV模型【Won Jun Kim, Changick Kim. An efficient correction method of wide-angle lens distortion for surveillance systems [J]. IEEE,2009:3206-3209】，半球形畸变校正模型【P.W.Smith, K.B.Johnson, M.A.Abidi. Efficient techniques for wide-angle stereo vision using surface projection models [J].IEEEConf. on Computer Vision and Pattern Recognition，1999，6(1): 113-118】，等效曲面模型【韩广良,宋建中.一种基于畸变等效曲面的图像畸变校正[J].光学技术，2005(l):122-124】等等。但是上述的各种校正模型存在的问题是通过控制点来得到模型参数、计算过程较为复杂、运算时间长，同时通用性较差。因此，需要设计一种新型的校正处理方法。

发明内容

本发明的目的在于针对现有技术存在校正处理方法通用性差、运算时间大等的技术问题，提供一种大视角图像畸变的校正处理方法。

为了达到上述目的，本发明采用的技术方案如下：

大视角图像畸变的校正处理方法，其设定空间坐标系为X-Y-Z，选用半球形畸变校正模型，设定图像的中心点为畸变中心点，投影面S与平面X-Y平行，并设定空间某点的畸变成像点为P′，其坐标为(x′,y′,z′)，则其对应的理想点即为投影点P，其坐标为（x,y,z），可得出其对应的映射关系为：

$r2=r1\×\frac{R}{\sqrt{R^2-r{1}^2}}=r1\×\frac{f}{\sqrt{f^2-r{1}^2}}---\left(1\right)$

式中，r2为投影面S上像点到光轴Z的距离，即为像点的理想成像高度；r1为球面上的像点到光轴Z的距离，即为图像上像素点的实际高度；f为焦距，其等于投影面S与平面XOY之间的距离OF；R为半球形畸变校正模型的球半径，且R=OF；

其还包括设定一畸变率D=（r1-r2）/r2 *100%，将其带入公式（1）中，得到：

$D=\frac{f}{\sqrt{f^2+r{2}^2}}-1---\left(2\right)$

同时在球面与中心面距离为变焦距的基础上增加了一个随r2变化的参数d，该参数d为在随着视角的增大时，减少半球形模型所得到的成像高度的减小率大于实际的成像高度而带来的误差，并设定：d(r2)=a1*ln(r2+1)+a2，即得到畸变率D为：

$D=\frac{f+d}{\sqrt{{(f+d)}^2+r{2}^2}}-1---\left(3\right)$

该校正处理方法具体包括以下步骤：

S1、对校正后图像中的任一点（X，Y），计算它到图像中心的距离r2，即理想像高；

S2、采用（3）式，由r2，k，d计算该点对应的畸变率D；

S3、由于x=(1+D)X，y=(1+D)Y，由畸变率D计算该点对应的畸变点坐标；

S4、采用双线性插值法，用得到的畸变坐标（x，y），对相应的理想坐标点（X，Y）的像素值进行插值，从而得到校正后的图像。

其中：任一点（X，Y）为校正图像坐标系的坐标，（x，y）为原始畸变图像坐标系的坐标。

优选的，

优选的，所述公式（1）的推倒过程为：理想点P与畸变点P′对应的坐标比例关系：

$\frac{r2}{r1}=\frac{z^{\′}}{z}$

根据球形的特性，及理想透镜成像原理，可得：

$z^{\′}=\sqrt{(R^2-x^{\′2}-y^{\′2})}$

z=R

由于R=f，即可得出其对应的映射关系：

$r2=r1\×\frac{R}{\sqrt{R^2-r{1}^2}}=r1\×\frac{f}{\sqrt{f^2-r{1}^2}}$ 。

优选的，在所述步骤S4中还包括采用双线性插值法计算该畸变点的灰度值。

优选的，还包括制作一网络模板，然后提取网格模板交点的实际畸变坐标和理想坐标，根据上述公式（3）进行计算，得到计算出的畸变坐标，并采用最小二乘法对该畸变坐标进行拟合。

与现有技术相比，本发明的优点在于：本发明采用了可用于不同镜头的畸变校正近似模型，利用这种模型可以方便的得到各点的畸变率，该方法不需要大量的迭代运算，并且在图像尺寸较大时，能够有效减少计算时间，具有较好的通用性。同时，在模型中，给出了用于控制畸变校正程度的参数，使得该方法校正后的剩余畸变率在1%左右。

本发明采用了可用于不同镜头的畸变校正近似模型，利用这种模型可以方便的得到各点的畸变率，从而由理想点的坐标计算对应的畸变点坐标，避免了在校正后的图像上产生“空洞”现象。本发明的方法不需要制定特定的模板对镜头畸变参数进行标定，从而免去了计算参数时的大量迭代运算，更加简单，易于在硬件上实现，并且当图像尺寸较大时，能够有效减少计算时间，具有较好的通用性。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是理想光学系统成像的原理图。

图2是畸变的产生的原理图。

图3是本发明所述大视角图像畸变的校正处理方法的校正模型图。

图4是本发明所述大视角图像畸变的校正处理方法的改进后的校正模型图。

图5是待校正处理的畸变图像。

图6是对图5中的畸变图像进行校正后图像之一。

图7是对图5中的畸变图像进行校正后图像之二。

图8是对图5中的畸变图像进行校正后图像之三。

图9是实际网格点的坐标值。

图10是采用最小二乘法进行拟合后的网格点的曲线图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细说明。

本发明的构思是希望能够不通过控制点来得到模型的参数，使得计算过程较为简单，并且根据背景技术对于畸变产生的分析，通过焦距的变化来模拟畸变的产生；同时，众所周知，理想的成像系统具有旋转对称性，因此我们选择使用半球形畸变校正模型作为本文的校正模型，并本文假设图像的中心点即为畸变中心点，其原理如下：

参阅图3所示，设定空间坐标系为X-Y-Z，半球形为球面模型，球半径R=OF。图中的投影面s，与平面X-Y平面平行，且OF为投影面s与平面XOY之间的距离，它等于相机焦距f，即理想针孔模型的成像平面，所以，投影面上像点到光轴Z的距离r2为像点的理想成像高度。球面在投影面s上的投影，为相机实际的成像面，因而可将球面近似看作镜头的成像面，球面上的像点到光轴Z的距离r1为图像上像素点的实际高度，即像素点到图像中心的距离。也就是说，如果空间某点的畸变成像点为P′，则其对应的理想点即为投影点P。

若P′点坐标为P′（x′,y′,z′）, P点坐标为P(x,y,z)。可得出理想点与畸变点对应的坐标比例关系：

$\frac{r2}{r1}=\frac{z^{\′}}{z}$

根据球形的特性，及理想透镜成像原理，可得：

$z^{\′}=\sqrt{(R^2-x^{\′2}-y^{\′2})}$

z=R

由于R=f，那么可以解出其对应的映射关系：

$r2=r1\×\frac{R}{\sqrt{R^2-r{1}^2}}=r1\×\frac{f}{\sqrt{f^2-r{1}^2}}---\left(1\right)$

根据畸变点和理想点之间的变换关系，可以求出对应的理想坐标点的位置，从而对畸变进行校正。这种运算方法简单，易于实现，且没有大量的迭代运算，有利于算法的实时实现，但是该算法的缺点在于精确度较低。

若直接利用上述公式（1）使用畸变点的坐标来求得对应的理想点坐标，由于桶形畸变校正后的图像尺寸比原尺寸要大，这种进行逐点映射的畸变校正会使理想图上有些点没有对应的畸变点，从而形成空洞。因此，本发明对传统半球形模型校正算法进行了一个改进，引入畸变率的概念，使用从理想图上的点来求其对应的畸变点，可以避免空洞的产生，以达到更加理想的效果。畸变率的公式为：

$D=\frac{\mathrm{\η}-H}{H}\×100\%$

而按照畸变率的定义可知，η=r1，H=r2，代入上述公式中，则有：

r1=(1+D)×r2            （2）

再根据以上推导的公式（1）、（2）得：

$D=\frac{f}{\sqrt{f^2+r{2}^2}}-1---\left(3\right)$

由公式（3）分析得知，有D(0)=0,D(r2)＜0，则每个像点的畸变率绝对值的大小都随着像点与畸变中心的距离增大而增大，符合桶形畸变的成像规律。

而本发明上述的传统算法的另一处改进是在以球面与中心面距离为变焦距的基础上增加了一个随r2变化的参数d，如图4所示。随着视角的增大，根据半球形模型所得到的成像高度的减小率大于实际的成像高度，也就是像点所对应的变焦距比它对应的实际的焦距要小，并且这种减小是随着像点与畸变中心的距离而变化的，为了降低这种模型所带来的误差，我在公式（3）中的相机焦距引入一个关于r2的函数，而这个变化曲线类似于对数函数，故设：

d(r2)=a1*ln(r2+1)+a2。

即可得出改进后的畸变率公式：

$D=\frac{f+d}{\sqrt{{(f+d)}^2+r{2}^2}}-1---\left(4\right)$

这样，结合上述的改进后的畸变率公式。设校正图像坐标系为（X，Y）的坐标，原始畸变图像坐标系为（x，y）的坐标，本发明的实际校正处理过程如下：

1）、对校正后图像中的任一点（X，Y），计算它到图像中心的距离r2，即理想像高；

2）、采用（4）式，由r2，k，d计算该点对应的畸变率D；

3）、由于x=(1+D)X，y=(1+D)Y，由D计算该点对应的畸变点坐标；

4）、由于坐标系（X，Y）和（x，y）都是离散化的整数，因此计算出来的（x，y）值不会都是整数，也就是说，理想图像上的点所对应的畸变点，并不一定刚好位于畸变图像的各坐标点上，所以无法取值。本发明优选采用双线性插值法计算该点的灰度值。

由于在本发明中假设图像中心即为畸变中心，因此图像的畸变率是关于水平方向和垂直方向对称的，为了减少计算时间和计算量，可利用畸变的对称性，只计算整个畸变图像的1/4图像点，就可以得到整幅图像对应的畸变率。

一般的，在实际校正过程中，除了需要相机的内部参数焦距f，我们还要确定关于r2的函数即：d(r2)=a1*ln(r2+1)+a2中的参数a1及a2。

试中的参数a1及a2可以由用户自己进行调整，来选择自己需要的校正效果，根据畸变成像原理及上文的分析，当焦距f增大时，D(r2)减小，即|D(r2)|增大，也就是像点对应的畸变程度增大，从而使得到的这个点所对应的畸变点坐标减小，即畸变点位置变近，畸变校正效果减轻。当焦距f增大到一定程度后，使得图像没有校正效果。反之，当焦距f减小，对应畸变点位置变远，图像校正效果较重，当小到某值后，图像反而成为枕形畸变的效果。用户可以据此来调整参数的大小。进一步的，更精确的确定方法是制作网格模板，然后提取网格模板交点的实际畸变坐标和理想坐标，根据上述公式进行计算，得到计算出的畸变坐标，再进行最小二乘法拟合，从而得到更为准确的参数。

参阅图5所示，其为待校正处理的畸变图像，为了验证本发明的效果，采用mat lab编程，对分辨率为3402*2703的图像进行校正处理，根据镜头畸变效果自己调整参数，效果如图6-图8所示，其中：图6中选用参数a1=150，a2=0，图7中选用参数a1=120，a2=0，图8中选用参数a1=170，a2=0。

由实验得到，当取a1=150，a2=0时，图像的校正效果较好。

如图9所示，当采用较为精确的参数确定方法时，对一些图像网格点坐标用最小二乘法进行拟合，网格交点的实际坐标和拟合得到的坐标点曲线如图10所示：

由于网格交点数量较多，下面仅抽取其中一些网格交点的实际畸变坐标、计算的畸变坐标，以图像中心为原点，像素为单位，如表1所示：

表1 校正前后网格点坐标及畸变率

同时对图像1/4部分的网格交点校正前后的数据进行统计，使用中误差、平均误差及均方根误差比较校正效果，统计结果如表2所示。

表2 校正前后误差对比

注：

，i=1,2,3…n;均方根误差。

总的来说，本发明提出的校正处理方法，采用了可用于不同镜头的畸变校正近似模型，利用这种模型可以方便的得到各点的畸变率，该方法不需要大量的迭代运算，并且当图像尺寸较大时，能够有效减少计算时间，具有较好的通用性。另外，在模型中，给出了用于控制畸变校正程度的参数，还给出了参数的确定方法及相应的实验结果。使得该方法校正后的剩余畸变率在1%左右。

而由于镜头本身的工艺，拍摄网格图像时不能严格保证图像中心与光学系统的中心重合，图像畸变也不会完全对称，以及提取网格点坐标时存在一定的误差等原因，校正后的效果仍然存在一定的误差，但已能够满足大部分应用所需要的精确度。

虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (4)

1.大视角图像畸变的校正处理方法，其设定空间坐标系为X-Y-Z，选用半球形畸变校正模型，设定图像的中心点为畸变中心点，投影面S与平面X-Y平行，并设定空间某点的畸变成像点为P′，其坐标为（x′,y′,z′），则其对应的理想点即为投影点P，其坐标为（x,y,z），可得出其对应的映射关系为：

$r2=r1\×\frac{R}{\sqrt{R^2-r{1}^2}}=r1\×\frac{f}{\sqrt{f^2-r{1}^2}}---\left(1\right)$

式中，r2为投影面S上像点到光轴Z的距离，即为像点的理想成像高度；r1为球面上的像点到光轴Z的距离，即为图像上像素点的实际高度；f为焦距，其等于投影面S与平面XOY之间的距离OF；R为半球形畸变校正模型的球半径，且R=OF；

其特征在于：还包括设定一畸变率D=（r1-r2）/r2 *100%，将其带入公式（1）中，得到：

$D=\frac{f}{\sqrt{f^2+r{2}^2}}-1---\left(2\right)$

同时在球面与中心面距离为变焦距的基础上增加了一个随r2变化的参数d，该参数d为在随着视角的增大时，减少半球形模型所得到的成像高度的减小率大于实际的成像高度而带来的误差，并设定：d(r2)=a1*ln(r2+1)+a2，即得到畸变率D为：

$D=\frac{f+d}{\sqrt{{(f+d)}^2+r{2}^2}}-1---\left(3\right)$

该校正处理方法具体包括以下步骤：

S1、对校正后图像中的任一点（X，Y），计算它到图像中心的距离r2，即理想像高；

S2、采用（3）式，由r2，k，d计算该点对应的畸变率D；

S3、由于x=(1+D)X，y=(1+D)Y，由畸变率D计算该点对应的畸变点坐标；

S4、采用双线性插值法，用得到的畸变坐标（x，y），对相应的理想坐标点（X，Y）的像素值进行插值，从而得到校正后的图像。

其中：任一点（X，Y）为校正图像坐标系的坐标，（x，y）为原始畸变图像坐标系的坐标。

2.根据权利要求2所述的大视角图像畸变的校正处理方法，其特征在于：所述公式（1）的推倒过程为：理想点P与畸变点P′对应的坐标比例关系：

$\frac{r2}{r1}=\frac{z^{\′}}{z}$

根据球形的特性，及理想透镜成像原理，可得：

$z^{\′}=\sqrt{(R^2-x^{\′2}-y^{\′2})}$

z=R

由于R=f，即可得出其对应的映射关系：

$r2=r1\×\frac{R}{\sqrt{R^2-r{1}^2}}=r1\×\frac{f}{\sqrt{f^2-r{1}^2}}$ 。

3.根据权利要求2所述的大视角图像畸变的校正处理方法，其特征在于：在所述步骤S4中还包括采用双线性插值法计算该畸变点的灰度值。

4.根据权利要求2所述的大视角图像畸变的校正处理方法，其特征在于：还包括制作一网络模板，然后提取网格模板交点的实际畸变坐标和理想坐标，根据上述公式（3）进行计算，得到计算出的畸变坐标，并采用最小二乘法对该畸变坐标进行拟合。

Images