CN103729841B - 一种基于方靶模型和透视投影的相机畸变校正方法 - Google Patents

Abstract

本发明涉及一种基于方靶模型和透视投影的相机畸变校正方法，该方法首先建立以相机中心为原点的空间坐标系，根据图像中心部分靶点的坐标，采用方靶模型计算出网格点靶标平面在相机坐标系内的平面方程式；在上述平面上生成对应于原图像的网格，将网格点投影到成像面上，形成理想网格点；根据原图像网格点和理想网格点之间的一一对应关系，分块地在图像内进行插值，将原图像上的每一个像素校正到理想位置。与现有技术相比，本发明不使用畸变模型，计算过程简单，同时能够很好的克服相机元件和装配误差造成的图像畸变。

Description

一种基于方靶模型和透视投影的相机畸变校正方法

技术领域

本发明涉及一种工业定焦相机图像几何畸变校正方法，尤其是涉及一种基于方靶模型和透视投影的相机畸变校正方法。

背景技术

由于相机镜头的物理非线性特征，在成像过程中不可避免的会造成实物形状在图像上的畸变。这种几何畸变不仅影响采集图像的视觉效果，而且如果直接应用到工业近景测量上，将会降低相机测量精度，对结果产生不利的影响。相机在元件的加工和镜头装配过程中还存在各种误差，也将加剧图像的几何畸变结果。普通工业相机成本低，使用方便，但是在成像过程中存在畸变大、几何失真严重等缺点。如果能够较好地进行图像几何畸变校正，成本低廉的普通工作相机在近景测量领域将有着极大的应用价值。

目前，相机的几何畸变标定方法可以分为两大类，一类是基于专业光学仪器的方法，该方法需要专业人员在专用的仪器上进行标定，成本高昂，普适性差，限制了该方法的推广；另一类是对生成的图像进行处理，不需要专门的仪器，只需要相机拍摄几幅靶标或者标定物的图像，通过计算机程序进行计算处理，从而标定出相机的几何畸变参数。这种方法操作简单，现阶段被广泛的研究和应用。

现有的图像畸变校正方法一般都是在成像面上进行的，大多数方法是根据提出的几何畸变模型对图像进行校正，还有一些方法是根据标定物几何特征的不变性来进行校正的。

相机的几何畸变模型被广泛的认为由三种组成：径向畸变、离心畸变和薄棱畸变，分别可以用径向畸变系数、离心畸变系数和薄棱畸变系数表示。离心畸变和薄棱畸变又由径向分量和切向分量两部分组成(J.Weng.P.Cohen,and M.Hemiou,Camera Calibrationwith Distortion Models and Accuracy Evaluation,IEEE Trans.Pattern Analysisand Machine Intelligence,vol.14,no.10,pp.965-980,Oct.1992)。几何畸变模型的不足是三种畸变参数互相耦合，模型复杂，带来较大的计算工作量，并且不能克服装配误差等带来的畸变情况。

还有的模型认为径向畸变是畸变的主要来源(Lili Ma,YangQuan Chen,andKevin L.Moore,Flexible camera calibration using a new analytical radialundistortion formula with application to mobile robot localization,in IEEEInternational Symposium on Intelligence Control,Houston,USA,October 2003)，利用多项式或者其他数学函数拟合几何畸变。这种方法简化了计算，但是用径向畸变来代替全部的畸变必定会使精度降低，而且使用的数学函数不能说明畸变的物理来源。

根据标定物投影之后某些几何特征不变的特性也可以对图像进行畸变校正，例如直线性或者截面比不变性(如：Guangjun Zhang,Junji He,Xianming Yang,Calibratingcamera radial distortion with cross-ratio invariability,Optics&LaserTechnology 35(2003)457–461)。这种对图像进行校正的方法能够解决元件或者装配误差造成的畸变，只使用透视投影原理，不考虑畸变的物理来源，方法精确度高，但是标定过程和原理较为复杂，精度也依赖于标定物的制作质量。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于方靶模型和透视投影的相机畸变校正方法，该方法不使用畸变模型，计算过程简单，同时能够很好的克服相机元件和装配误差造成的图像畸变。

本发明的目的可以通过以下技术方案来实现：

一种基于方靶模型和透视投影的相机畸变校正方法，该方法包括以下步骤：

1)建立相机坐标系：以相机中心为原点，相机光轴为Z轴，图像水平方向为X轴，图像竖直方向为Y轴，建立相机坐标系，Z轴垂直于成像面，并过成像面的中心；

2)计算网格点坐标：相机采集网格点靶标的原图像，提取图像中的每个网格点，计算网格点在相机坐标系中的空间坐标；

3)计算网格点靶标平面在相机坐标系中的方程：选取图像平面上图像中心周围构成四边形的4个网格点，根据方靶模型，计算出网格点靶标平面在相机坐标系中的平面方程式，该平面方程式所对应的面即为成像平面；

4)生成理想网格点：采用透射投影，将网格点靶标平面上的网格点投影到成像平面上，得到理想网格点，形成理想平面；

5)图像分块插值计算：根据原图像网格点和理想网格点之间的一一对应关系，分块地在图像内进行插值，将原图像上的每一个像素校正到理想位置，得到校正映射表；

6)畸变校正：将原图像上的每一个像素按照映射表移动到一幅空的图像中，生成畸变校正后的图像。

所述的计算网格点靶标平面在相机坐标系中的方程具体为：

301)选取图像中心周围的4个网格点(a,b,c,d)，其对应的实物靶标平面上的4个正方形靶点为(A,B,C,D)，其中对角线中心为O；

302)固定正方形abcd的对角线中心e，在OA,OB,OC,OD射线上将a,b,c,d点调整到a',b',c',d'，使得a',b',c',d'构成一个正方形，调整过程中a',e,c'、b',e,d'始终在一条直线上；

303)根据三角形Oa'b'和OAB的相似关系，得到从而计算出线段OA的长度；

304)由于和的方向与和的方向平行，计算出向量和 为平面的法方向，从而计算出靶标平面的方程式。

所述的图像分块插值计算具体为：

理想平面相邻四个点构成四边形abed，该四边形abed为正方形，对应的在原图像平面上四边形为a'b'e'd'，对于理想平面上的一个像素点o(x,y)，其形函数为s和t，s、t分别代表该点在四边形中的水平位置占比和竖直位置占比，通过o点做水平和竖直两条边的平行线，分别交于m、n和p、q四点，则形函数表达公式为：

$s=\frac{\left|ap\right|}{\left|ab\right|}=\frac{\left|dq\right|}{\left|de\right|}$

$t=\frac{\left|am\right|}{\left|ad\right|}=\frac{\left|bn\right|}{\left|be\right|}$

在对应的四边形中计算出畸变图像中像素点o′(u,v)的位置，通过形函数s和t，找到m′,n′,p′,q′四点：

|a′p′|＝s·|a′b′|

|d′q′|＝s·|d′e′|

|a′m′|＝t·|a′d′|

|b′n′|＝t·|b′e′|

然后求出直线m′n′和p′q′的方程之后求交点，即可得出o′(u,v)；

o和o′两个像素在两个四边形内的位置关系如下：

$\frac{am}{md}=\frac{po}{oq}=\frac{bn}{ne}=\frac{a^{\′}{m}^{\′}}{m^{\′}{d}^{\′}}=\frac{p^{\′}{o}^{\′}}{o^{\′}{q}^{\′}}=\frac{b^{\′}{n}^{\′}}{n^{\′}{e}^{\′}}$

$\frac{dq}{qe}=\frac{mo}{on}=\frac{ap}{pb}=\frac{d^{\′}{q}^{\′}}{q^{\′}{e}^{\′}}=\frac{m^{\′}{o}^{\′}}{o^{\′}{n}^{\′}}=\frac{a^{\′}{p}^{\′}}{p^{\′}{b}^{\′}}$

图像上每一个像素从原图像位置到校正图位置的映射表被保留作为该相机的畸变校正参数。

与现有技术相比，本发明根据标定物的信息计算出理想图像的大小和像素位置，即完成了畸变校正，该过程不使用畸变模型，计算过程简单，同时能够很好的克服相机元件和装配误差造成的图像畸变，解决了畸变标定操作复杂和物理来源不明等问题。

附图说明

图1为相机坐标系示意图；

图2为网格靶标示意图；

图3为方靶模型示意图；

图4为透射投影示意图；

图5为分块插值示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

以相机拍摄的图像为对象，根据标定物的信息计算出理想图像的大小和像素位置，即完成了畸变校正的过程。该过程不使用畸变模型，同时能够很好的克服相机元件和装配误差造成的图像畸变。

一种基于方靶模型和透视投影的相机畸变校正方法，该方法首先建立以相机中心为原点的空间坐标系，根据图像中心部分靶点的坐标，采用方靶模型计算出网格点靶标平面在相机坐标系内的平面方程式；在上述平面上生成对应于原图像的网格，将网格点投影到成像面上，形成理想网格点；根据原图像网格点和理想网格点之间的一一对应关系，分块地在图像内进行插值，将原图像上的每一个像素校正到理想位置。

1、建立相机坐标系。

如图1所示，在相机的内部选取一个点为坐标原点，该点为实物上的点与成像面上对应的点汇交的一点。该点与像平面中心的连线垂直于像平面，并且该点到像平面的距离为像距id。选取原点到像平面中心的方向为Z轴，通过原点并且平行于成像面水平的方向为X轴，通过原点并且竖直向下的方向为Y轴，建立相机坐标系。

2、提取原图像的网格点坐标。

如图2所示，网格点被打印在一个光滑的靶标平面上，拍摄网格点靶标平面的原图像，采用图像处理技术，将图像上每个点分割提取出来，计算出该点在图像上的位置，并在相机坐标系中计算出网格点的空间坐标。

3、计算网格点靶标平面在相机坐标系中的平面方程式。计算出的网格点靶标平面方程式是靶标平面在相机坐标系中几何位置的准确表达，在该平面上可以生成理想网格点，以进行后续的插值计算。

选取靠近图像中心的4个点，根据方靶模型，计算出网格点靶标平面在相机坐标系统中的平面方程式。

如图3所示，实物平面上的4个正方形靶点(A,B,C,D)在成像过程中，由于成像面和物平面不平行，造成图像上的四个靶点(a,b,c,d)并不是正方形。方靶模型的原理为：

固定正方形abcd的对角线中心e，在OA,OB,OC,OD射线上将a,b,c,d点调整到a',b',c',d'，使得a',b',c',d'构成一个正方形，注意调整的时候a',e,c'，b',e,d'始终在一条直线上，进而计算出a',b',c',d'的坐标信息。通过三角形Oa'b'和OAB的相似关系，得到从而计算出线段OA的长度。由于和的方向与和的方向平行，计算出向量和 为平面的法方向，从而计算出靶标平面的方程式。

同时可以在靶标平面上建立一个坐标系，坐标原点为A，以AB为X轴，AC为Y轴，为Z轴，该坐标系的基向量与相机坐标系之间有如下转换关系：

$\stackrel{\→}{p}=\stackrel{\→}{t}+R\·\stackrel{\→}{q}$

是平移向量，等于A点在相机坐标系统中的向量

转角矩阵R有如下性质：

(1)R^T＝R^-1；

(2)其中α,β,γ分别是基向量分别绕i,j,k轴旋转到与向量相同的三个转角。

4、生成靶标平面上的网格点。在靶标平面上，以方靶点为基准，根据靶点之间的中心距，计算生成点数相同的正方形网格点。

5、生成理想网格点。根据如图4所示的透射投影过程，实物点与相机中心连线，该直线与成像面的交点就是该点的透射投影点。靶标平面上的每一个点都在成像面上生成对应的坐标点，所得到的网格点在就是理想网格点。理想网格点与原图像上成像点之间有一一对应的关系。

6、图像分块插值计算。原图像上相邻的4个点构成一个四边形，对应的4个理想网格点也构成一个四边形，整幅图像可以全部的被分为许多四边形块。如图5所示，计算某一个像素在包含它的四边形内的形函数，将其映射到对应的理想网格点构成的四边形内。

理想平面相邻四个点构成四边形abed，该四边形abed为正方形，对应的在原图像平面上四边形为a'b'e'd'，对于理想平面上的一个像素点o(x,y)，其形函数为s和t，s、t分别代表该点在四边形中的水平位置占比和竖直位置占比，通过o点做水平和竖直两条边的平行线，分别交于m、n和p、q四点，则形函数表达公式为：

$s=\frac{\left|ap\right|}{\left|ab\right|}=\frac{\left|dq\right|}{\left|de\right|}$

$t=\frac{\left|am\right|}{\left|ad\right|}=\frac{\left|bn\right|}{\left|be\right|}$

在对应的四边形中计算出畸变图像中像素点o′(u,v)的位置，通过形函数s和t，找到m′,n′,p′,q′四点：

|a′p′|＝s·|a′b′|

|d′q′|＝s·|d′e′|

|a′m′|＝t·|a′d′|

|b′n′|＝t·|b′e′|

然后求出直线m′n′和p′q′的方程之后求交点，即可得出o′(u,v)。

o和o′两个像素在两个四边形内的位置关系如下：

$\frac{am}{md}=\frac{po}{oq}=\frac{bn}{ne}=\frac{a^{\′}{m}^{\′}}{m^{\′}{d}^{\′}}=\frac{p^{\′}{o}^{\′}}{o^{\′}{q}^{\′}}=\frac{b^{\′}{n}^{\′}}{n^{\′}{e}^{\′}}$

$\frac{dq}{qe}=\frac{mo}{on}=\frac{ap}{pb}=\frac{d^{\′}{q}^{\′}}{q^{\′}{e}^{\′}}=\frac{m^{\′}{o}^{\′}}{o^{\′}{n}^{\′}}=\frac{a^{\′}{p}^{\′}}{p^{\′}{b}^{\′}}$

图像上每一个像素(亚像素)从原图像位置到校正图(畸变校正后的图像)位置的映射表被保留作为该相机的畸变校正参数。

7、校正畸变。将原图像上的每一个像素(亚像素)按照映射表分块的移动到一幅空的图像中，这样就生成了新的图像，该图像就是畸变校正后的图像。

虽然已经结合具体的示范性实施例并结合附图充分的描述了本发明，对于本领域技术人员来说，对本发明的各种修改和改变是显而易见的。因此，除非这些改变和变形脱离本发明的范围，否则它们应该被解释为包括在本发明的范围内。

Claims (3)

1.一种基于方靶模型和透视投影的相机畸变校正方法，其特征在于，该方法包括以下步骤：

1)建立相机坐标系：以相机中心为原点，相机光轴为Z轴，图像水平方向为X轴，图像竖直方向为Y轴，建立相机坐标系，Z轴垂直于成像面，并过成像面的中心；

2)计算网格点坐标：相机采集网格点靶标的原图像，提取图像中的每个网格点，计算网格点在相机坐标系中的空间坐标；

3)计算网格点靶标平面在相机坐标系中的方程：选取图像平面上图像中心周围构成四边形的4个网格点，根据方靶模型，计算出网格点靶标平面在相机坐标系中的平面方程式，该平面方程式所对应的面即为成像平面；

4)生成理想网格点：采用透射投影，将网格点靶标平面上的网格点投影到成像平面上，得到理想网格点，形成理想平面；

5)图像分块插值计算：根据原图像网格点和理想网格点之间的一一对应关系，分块地在图像内进行插值，将原图像上的每一个像素校正到理想位置，得到校正映射表；

6)畸变校正：将原图像上的每一个像素按照映射表移动到一幅空的图像中，生成畸变校正后的图像。

2.根据权利要求1所述的一种基于方靶模型和透视投影的相机畸变校正方法，其特征在于，所述的计算网格点靶标平面在相机坐标系中的方程具体为：

301)选取图像中心周围的4个网格点(a,b,c,d)，其对应的实物靶标平面上的4个正方形靶点为(A,B,C,D)，其中对角线中心为O；

302)固定正方形abcd的对角线中心e，在OA,OB,OC,OD射线上将a,b,c,d点调整到a',b',c',d'，使得a',b',c',d'构成一个正方形，调整过程中a',e,c'、b',e,d'始终在一条直线上；

303)根据三角形Oa'b'和OAB的相似关系，得到从而计算出线段OA的长度；

304)由于和的方向与和的方向平行，计算出向量和 为平面的法方向，从而计算出靶标平面的方程式。

3.根据权利要求1所述的一种基于方靶模型和透视投影的相机畸变校正方法，其特征在于，所述的图像分块插值计算具体为：

理想平面相邻四个点构成四边形abed，该四边形abed为正方形，对应的在原图像平面上四边形为a'b'e'd'，对于理想平面上的一个像素点o(x,y)，其形函数为s和t，s、t分别代表该点在四边形中的水平位置占比和竖直位置占比，通过o点做水平和竖直两条边的平行线，分别交于m、n和p、q四点，则形函数表达公式为：

$s=\frac{\left|ap\right|}{\left|ab\right|}=\frac{\left|dq\right|}{\left|de\right|}$

$t=\frac{\left|am\right|}{\left|ad\right|}=\frac{\left|bn\right|}{\left|be\right|}$

在对应的四边形中计算出畸变图像中像素点o′(u,v)的位置，通过形函数s和t，找到m′,n′,p′,q′四点：

|a′p′|＝s·|a′b′|

|d′q′|＝s·|d′e′|

|a′m′|＝t·|a′d′|

|b′n′|＝t·|b′e′|

然后求出直线m′n′和p′q′的方程之后求交点，即可得出o′(u,v)；

o和o′两个像素在两个四边形内的位置关系如下：

$\frac{am}{md}=\frac{po}{oq}=\frac{bn}{ne}=\frac{a^{\′}{m}^{\′}}{m^{\′}{d}^{\′}}=\frac{p^{\′}{o}^{\′}}{o^{\′}{q}^{\′}}=\frac{b^{\′}{n}^{\′}}{n^{\′}{e}^{\′}}$

$\frac{dq}{qe}=\frac{mo}{on}=\frac{ap}{pb}=\frac{d^{\′}{q}^{\′}}{q^{\′}{e}^{\′}}=\frac{m^{\′}{o}^{\′}}{o^{\′}{n}^{\′}}=\frac{a^{\′}{p}^{\′}}{p^{\′}{b}^{\′}}$

图像上每一个像素从原图像位置到校正图位置的映射表被保留作为该相机的畸变校正参数。