CN104881866A - 一种扩展小孔成像模型的鱼眼相机矫正与标定方法 - Google Patents

Abstract

本发明具体涉及一种扩展小孔成像模型的鱼眼相机矫正与标定方法，属于计算机视觉以及计算机图形学领域，该方法包括如下步骤：使用开窗后的相机，从不同的角度拍摄棋盘模板图；通过角点检测，提取模板图像中特征点的像素坐标，通过小孔成像模型建立空间点和图像点之间的关系；在提取到所有的特征点后，通过LM算法求参数，实现基于小孔成像模型的鱼眼相机矫正与标定；结合直线拟合以及自然邻点插值算法对小孔模型矫正的视场范围进行扩展。本发明和现有技术相比所具有的有益效果：易于标定、适合人眼观看效果；扩展了小孔成像模型的应用范围，单次矫正的视场范围达到130°；通过多次扩展，可以得到整个鱼眼相机成像区域的矫正结果。

Description

一种扩展小孔成像模型的鱼眼相机矫正与标定方法

技术领域

本发明具体涉及一种扩展小孔成像模型的鱼眼相机矫正与标定方法，属于计算机视觉以及计算机图形学领域。

背景技术

在机器视觉、全景摄影、安防监控以及虚拟现实等领域，鱼眼相机由于其超宽的视场范围(一般达到甚至超过180°)，得到越来越广泛的应用。但是，鱼眼相机存在严重的桶形畸变，导致其使用受限。如图1所示，这是一幅用鱼眼相机拍摄的实际场景图，它覆盖了半空间的场景，但是，由于畸变的存在，其中空间直线的成像已经不再是直线。

截止到现在，对鱼眼相机矫正与标定的研究很多，主要可分为基于硬件测量和基于图像处理算法等两类方法。基于硬件测量的方法，通过硬件装置测量特定空间点的位置坐标，建立空间点与相应图像点之间的关系，从而求解鱼眼相机的模型参数。此类方法需要额外的测量装置、成本较高，而且对装置的测量精度有较高要求。基于图像处理算法的方法又可以分为基于单幅图像和基于多幅图像的方法。其中，基于单幅图像的方法，其理论根据是直线的投影仍然是直线，它通过“把畸变后的直线恢复为直线”的过程来确定畸变参数，此类方法虽然灵活，但是实现复杂、计算量大，并且相机标定困难。而基于多幅图像的方法是目前的研究热点，它通过从不同角度拍摄多幅模板图像来求取投影模型参数，实现简单，但是当投影模型简单时，其矫正与标定的精度较差，而当投影模型复杂时，又会大大增加模型参数求解的难度。

小孔成像模型相对其他投影模型实现简单、易于标定，并且符合人眼视觉效果。本发明属于基于多幅图像的矫正与标定方法的范畴，通过从不同角度拍摄多幅鱼眼模板图，求取小孔成像模型的参数。但是，由于小孔成像模型适用的视场范围远小于180°(一般适用于90°左右视场范围)，而鱼眼相机具有超宽的视场角(一般达到甚至超过180°)，不能够简单的使用小孔成像模型进行鱼眼相机的矫正与标定。

发明内容

为了克服上述技术的不足，本发明提出了一种扩展小孔成像模型的鱼眼相机矫正与标定方法。该方法在小孔成像模型矫正的基础上，结合直线拟合以及自然邻点插值算法，实现对整个鱼眼相机的矫正与标定，并得到符合人眼视觉效果的矫正结果图。具体包括如下步骤：

步骤1)对鱼眼相机进行开窗处理，设置窗口的视场范围；

步骤2)使用开窗后的相机，从不同的角度拍摄棋盘模板图，得到一序列的模板图像；

步骤3)通过角点检测，提取模板图像中特征点的像素坐标，建立空间点和图像点之间的关系；

步骤4)在提取到所有的特征点后，通过LM算法求参数，实现对相机的矫正与标定；

步骤5)根据已经测量得到的相机参数，对拍摄的实物图进行畸变的矫正；

步骤6)在小孔成像模型矫正的基础上，结合直线拟合以及自然邻点插值算法，扩展矫正的视场范围。

对含有模板的鱼眼图像进行基于小孔成像模型的矫正，然后对矫正结果中同一直线上的特征点进行直线拟合。

获得经过拟合的特征点坐标后，使用插值算法，求取图像上除特征点以外像素的新的坐标位置。

扩展小孔成像模型适用视场范围的基本原理是直线的投影仍然是直线，在小孔成像模型的基础上，结合直线拟合以及自然邻点插值，把矫正的视场范围扩大，包括基于小孔模型的畸变矫正、特征点直线拟合以及自然邻点插值。

本发明和现有技术相比所具有的有益效果：此方法不仅具备易于标定、适合人眼观看效果等，同时能够实现鱼相机超宽视场范围的矫正与标定。测试结果表明，此方法扩展了小孔成像模型的应用范围，能够实现鱼眼相机的矫正与标定。并且，单次矫正的视场范围达到130°，通过移动点阵模板的位置，可以得到鱼眼相机不同区域的矫正结果，从而实现鱼眼相机整个成像区域的矫正与标定。

附图说明

图1为鱼眼相机拍摄的场景图；

图2为本发明扩展小孔成像模型的鱼眼相机矫正与标定方法流程图；

图3-1为鱼眼拍摄的实物图；

图3-2为矫正结果示意图，视场范围85°；

图4-1为鱼眼拍摄的实物图；

图4-2矫正结果示意图，视场范围100°；

图5为使用开窗85°的小孔模型对整个鱼眼图像矫正的结果示意图；

图6-1为的原始Voronio图；

图6-2为的插入x后新的Voronio图；

图7为本的非等间隔点阵模板示意图；

图8-1为的鱼眼非等间隔点状模板图像；

图8-2为图8-1的小孔矫正结果示意图；

图9-1为圆形点模板的特征点检测图；

图9-2为图9-1特征点检测结果示意图；

图10为的直线拟合与自然邻点插值算法矫正结果图；

图11为实际场景矫正结果图；

图12-1为的点阵模板处于鱼眼图下方示意图；

图12-2为图12-1的矫正结果示意图；

图12-3为图1的矫正结果示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，结合附图和具体实施方式对本发明作进一步详细的说明。

通过小孔成像模型将空间中的点投影到图像平面，投影公式可写为

s·m＝A·[R|t]·M      (1)其中，s是一个比例常数，M:(X,Y,Z)为空间点的坐标(单位：毫米mm)，m:(u,v)为投影在图像平面上的点的坐标(单位：像素pixel)，A为相机内参(投影)矩阵，[R|t]为相机旋转-平移矩阵。

内参数矩阵A不依赖场景的视图，对于某一个相机只要焦距固定，就不再改变(要对相机进行标定，需要求取A；在接下来的分析中，把相机的标定统一到矫正中)。而旋转-平移矩阵[R|t]被称作外参数矩阵，它用来描述相机相对于一个固定场景的运动，即[R|t]将空间点(X,Y,Z)的坐标变换到某个坐标系上，这个坐标系相对于相机来说是固定不变的。这个坐标系为相机坐标系，(x,y,z)为相机坐标系上的点，单位mm。

因此，引入(x,y,z)为中间变量，式(1)中的坐标系变换(旋转平移：[R|t])可以写为

[x,y,z]^T＝R·[X,Y,Z]^T+t      (2)

通过小孔模型的投影变换，式(2)中的相机坐标经过投影(投影矩阵：A)可以表示为

$\begin{array}{cc}\left\{\begin{array}{c}{x}^{\′}=x/z\\ y^{\′}=y/z\\ u=\mathrm{fx}\·x^{\′}+\mathrm{cx}\\ v=\mathrm{fy}\·y^{\′}+\mathrm{cy}\end{array}\right.,& A=\left[\begin{array}{ccc}\mathrm{fx}& 0& \mathrm{cx}\\ 0& \mathrm{fy}& \mathrm{cy}\\ 0& 0& 1\end{array}\right]\end{array}---\left(3\right)$

其中，(cx,cy)是相机的基准点(即光学中心，通常在图像的中心，单位pixel)，(fx,fy)是以pixel为单位的焦距。

对于鱼眼相机，存在比较严重的畸变，主要是径向形变，也会有轻微的切向形变。但是，根据鱼眼镜头桶形畸变的特点，在鱼眼图像的中间区域畸变较小，可以采用低阶的多项式拟合其畸变参数。式(3)中引入畸变，得到如下表达式

$\left\{\begin{array}{c}{x}^{\′\′}=x^{\′}(1+k_1{r}^2+k_2{r}^4)+2p_1{x}^{\′}{y}^{\′}+p_2(r^2+2x^{\′2})\\ y^{\′\′}=y^{\′}(1+k_1{r}^2+k_2{r}^4)+p_1(r^2+{2y}^{\′2})+2p_2{x}^{\′}{y}^{\′}\\ u=\mathrm{fx}\·x^{\′\′}+\mathrm{cx}\\ v=\mathrm{fy}\·y^{\′\′}+\mathrm{cy}\end{array}\right.---\left(4\right)$

其中，(x”,y”)为畸变后的相机坐标，r²＝x^'2+y^'2，k₁和k₂是径向畸变系数，p₁和p₂是切向畸变系数。

在得到了具体的投影方程后，使用最小均方误差准则，求解式(5)达到最小的解。

$E=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\left|\right|m_{\mathrm{ij}}-\hat{m}(R_i,t_i,A,k_1,k_2,p_1,p_2,M_{\mathrm{ij}})\left|\right|}^2---\left(5\right)$

其中，K为采集的含模板的图像的张数，L表示每幅图像上特征点的个数(L＝m×n，m、n分别表示模板图像的一行、一列中含有的特征点个数)，m_ij是第i幅图像的第j个特征点的图像坐标，是根据相机投影模型由空间坐标M_ij投影得到的坐标。具体求解参数时，选择收敛性强的Levenberg-Marquadt(LM)算法。

如图2所示，一种扩展小孔成像模型的鱼眼相机矫正与标定方法包括如下步骤：

步骤1)对鱼眼相机进行开窗处理，设置中心85°视场范围的窗口；

步骤2)使用开窗后的相机，从不同的角度拍摄棋盘模板图，得到一序列的模板图像；

步骤3)通过角点检测，提取模板图像中特征点的像素坐标，建立空间点和图像点之间的关系；

步骤4)在提取到所有的特征点后，通过LM算法求取式(5)中的参数，实现对相机的矫正与标定。对于实际的一款鱼眼相机，得到其畸变参数k₁＝-0.2856，k₂＝0.0881；p₁＝4.61×10^-4，p₂＝-5.03×10^-4。可以看出，切向畸变系数p₁和p₂较小，而径向畸变系数k₁和k₂较大，说明鱼眼相机的切向畸变较小，几乎可以忽略，而径向畸变是鱼眼相机的主要畸变，这与实际的情况相符合；

步骤5)根据已经测量得到的相机参数，对拍摄的实物图进行畸变的矫正；矫正结果如图3-2所示，由以上矫正结果可以看出，图3-1中由于畸变导致的弯曲，在经过矫正后得到了很好的修正，符合人眼观看效果。

如图4-1所示，重复步骤1)至步骤5)，开窗拍摄视场范围达到100°的鱼眼图，求解此时小孔模型中的参数，最后得到图4-2的矫正结果。由图4-2的边缘部分可以看出，使用此小孔模型对超过90°视场范围的图像进行矫正时，其中间部分矫正结果较好，但是边缘部分的直线没有被矫正，矫正结果仍然存在很大残余误差。

接下来，使用开窗85°得到的小孔模型，对整个鱼眼图像进行矫正处理，得到如图5所示的矫正结果图。由图5可以看出，鱼眼图像的中心区域(85°视场范围内)的矫正结果较好，边缘部分没有得到很好的矫正。

综合以上矫正结果，可以看出，此小孔模型适用于90°左右视场范围的畸变矫正，再增大矫正的视场范围，矫正效果恶化。因此，由于小孔模型视场范围的局限性，限制了小孔模型在鱼眼相机矫正与标定中的应用。为了使用较简单的方式得到大的矫正视场范围，并且同时保留小孔模型的优点(易于标定、适合人眼观看效果等)，接下来在小孔成像模型的基础上，结合直线拟合、自然邻点插值算法来扩展其适用范围。

对含有模板的鱼眼图像进行基于小孔成像模型的矫正，然后对矫正结果中同一直线上的特征点进行直线拟合。假设模板的某一行或者某一列上有k个特征点，把这k个点拟合为直线ax+by＝d。即，使用最小均方误差准则，求解使

$E(a,b,d)=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{[{\mathrm{ax}}_i+{\mathrm{by}}_i-d]}^2---\left(6\right)$

达到最小时，a，b和d的值。

如果模板含有m×n(模板每行有m个点，每列n个点)个特征点，则进行m+n次直线拟合，而任意两条直线的交点即为拟合后的新的特征点位置坐标。

获得经过拟合的特征点坐标后，还需要使用插值算法，求取图像上除特征点以外像素的新的坐标位置。常用的两维插值算法有双三次样条插值算法、二元拉格朗日插值算法以及自然邻点插值算法等。实际中，由于模板与鱼眼相机之间的位置可以随意变动，导致矫正图的模板上特征点(插值节点)不一定是矩阵排布的，此时双三次样条插值算法就不太适用；二元拉格朗日插值算法在插值节点较多时，可能导致“龙格”现象，插值精度不高；自然邻点插值算法是一种散乱点插值算法，具有实现简单、灵活以及高精度等优点。基于以上原因，本发明选用自然邻点插值算法。

自然邻点插值算法是根据各个自然邻点对待插点的贡献率来计算该点的插值结果。假设已知插值点x的自然邻点共有M个，分别为p₁，p₂，…，p_M，可构建如下所示的插值公式

$f\left(x\right)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_{i}f\left(p_i\right)---\left(7\right)$

其中f(x)是待插值点x处的插值结果，f(p_i)是自然邻点p_i处的值，w_i代表自然邻点p_i所占的权重系数。

通过Delaunay三角剖分算法来确定插值点x的自然邻点，而权重系数w_i是按照如下的思想来确定，如图6-1和图6-2所示：把待插值点x作为新节点，加入已经生成的Voronoi图，得到插入新节点后的Voronoi图。假设待插值点x所在Voronoi Cell的面积为S_x，S_x被其自然邻点分割成M个部份，每个部份的面积分别为s₁，s₂，…，s_M，则权重系数由各个部份的面积和总面积比值求得，即

$w_i=\frac{s_i}{S_x}---\left(8\right)$

从以上的分析可知，对一个待插点x来说，要确定它的各个自然邻点的权重系数w_i，就需要计算两次Voronoi图(即插入x前后的Voronoi图)，这样的话，系统计算量很大。针对这个问题，Watson提出了Compound Signed Decomposition法，也就是Watson算法^[13]，该方法无需计算Voronoi图，而是直接处理外接圆中包含待插点x的所有Voronoi三角形，来计算各个自然邻点所占的面积，降低了系统的运算复杂度。

扩展小孔成像模型适用视场范围的基本原理是直线的投影仍然是直线。此方法在小孔成像模型的基础上，结合直线拟合以及自然邻点插值，把矫正的视场范围扩大，主要分为基于小孔模型的畸变矫正、特征点直线拟合以及自然邻点插值三个步骤。具体实现如下：

1、拍摄一幅含模板的鱼眼图像(模板必须有部分置于鱼眼图像中心区域，且模板上的特征点有序排列)，接着对鱼眼图像进行小孔模型的畸变矫正，得到初步的矫正图。此图的中间部分(85°以内视场范围)的畸变已经得到初步矫正。

2、对初步的矫正结果进行特征点检测，得矫正后的特征点坐标(u_i,v_j)，i＝1,2,…,m，j＝1,2,…,n，m为每一行特征点的个数，n为每一列特征点的个数。

3、对模板上在同一条直线上的特征点进行直线拟合，得到新的投影坐标(u'_i,v'_j)，这样就可以计算得到每个特征点实际位置与小孔模型得到的位置之间的偏差(u”_i,v”_j)，其中

u”_i＝u’_i-u_i

v”_j＝v’_j-v_j

4、把这些偏差(u”_i,v”_j)作为插值节点，对这些特征点的行和列分别进行自然邻点插值，从而得到模板区域内所有像素点的偏差(u”_(x),v”_(y))。

5、拍摄另一幅鱼眼图像，使模板置于鱼眼图像的不同区域，然后重复以上操作，从而获得整个鱼眼图像矫正后的偏差位置，实现整个鱼眼图像的矫正。

棋盘模板的特征角点是等间隔分布的，在鱼眼图像中，畸变导致边缘处多个特征点叠加在一起，增加了特征点检测的难度。为了便于边缘处特征点的检测，在对小孔模型矫正效果进行扩展时，使用如图7所示的非等间隔点阵模板。

把非等间隔点阵模板平面放置在鱼眼相机正前方，对其拍摄一幅鱼眼图像，得到如图8-1所示鱼眼非等间隔点阵模板图。对图8-1进行小孔模型矫正以及图像增强处理，结果如图8-2所示。

对于图8-2，其中圆形特征点由于畸变而成像成为椭圆，为了检测这些特征点，如图9-1所示，首先对图像进行阈值分割和边缘检测，然后使用矩形对特征点边缘进行相切逼近处理，取矩形的中心作为特征点坐标,相应的特征点检测结果如图9-2所示。

通过直线拟合，得到每个特征点坐标位置的偏差值，把这些偏差值作为插值点，利用自然邻点插值算法对模板区域图像进行插值矫正，得到如图10所示的结果图。

由上图可以看出，矫正图与原图基本一致，但是在下边缘处仍然存在一定畸变，造成此结果的原因是特征点在边缘的检测，存在一定的误差。为了提高矫正精度，可以对检测出的特征点位置进行优化调整。此时，经过扩展小孔成像矫正算法，能够使单次矫正视场范围达到130°，实际场景的矫正结果如图11所示。

由图11可以看出，小孔模型和直线拟合、自然邻点插值算法结合，能够扩展矫正的视场角，测试结果表明在130°左右还能达到较好的结果。但是，在单次矫正中，视场角不能继续扩大，因为继续增大视场角时，特征点在边缘处的检测精度很低，矫正误差会增大；而且，整个鱼眼的视场范围达到180°，其成像的范围是半空间，在有限的成像面上不能无畸变地把半空间的图像恢复。

为了达到对整个鱼眼相机视场范围的矫正，可将非等间隔点阵模板置于不同区域，然后进行以上扩展小孔模型的矫正操作。注意：非等间隔点阵模板必须有一部分位于鱼眼相机90°以内的视场区域，从而保证小孔模型能够适用，便于进行相机的标定、降低矫正残余误差等操作。为了进一步验证本算法的有效性，本发明对模板处于鱼眼图像非中心区域的情况进行矫正处理，得到图12-2所示结果。其中，图12-1是使用鱼眼相机拍摄的模板图，其中模板处于鱼眼图的下方；图12-2是图12-1模板区域的矫正结果图；图12-3是对实际场景图1的下半部分的矫正结果。由矫正结果可以看出，本发明所提算法能够对鱼眼图像非中心区域进行矫正，实现对整个鱼眼成像区域的矫正。

以上对本发明所提供的一种扩展小孔成像模型的鱼眼相机矫正与标定方法进行了详细介绍，以上参照附图对本申请的示例性的实施方案进行了描述。本领域技术人员应该理解，上述实施方案仅仅是为了说明的目的而所举的示例，而不是用来进行限制，凡在本申请的教导和权利要求保护范围下所作的任何修改、等同替换等，均应包含在本申请要求保护的范围内。

Claims (4)

1.一种扩展小孔成像模型的鱼眼相机矫正与标定方法，其特征在于包括如下步骤：

步骤1)对鱼眼相机进行开窗处理，设置窗口的视场范围；

步骤2)使用开窗后的相机，从不同的角度拍摄棋盘模板图，得到一序列的模板图像；

步骤3)通过角点检测，提取模板图像中特征点的像素坐标，建立空间点和图像点之间的关系；

步骤4)在提取到所有的特征点后，通过LM算法求参数，实现对相机的矫正与标定；

步骤5)根据已经测量得到的相机参数，对拍摄的实物图进行畸变的矫正；

步骤6)在小孔成像模型矫正的基础上，结合直线拟合以及自然邻点插值算法，扩展矫正的视场范围。

2.根据权利要求1所述的一种扩展小孔成像模型的鱼眼相机矫正与标定方法，其特征在于：对含有模板的鱼眼图像进行基于小孔成像模型的矫正，然后对矫正结果中同一直线上的特征点进行直线拟合。

3.根据权利要求2所述的一种扩展小孔成像模型的鱼眼相机矫正与标定方法，其特征在于：获得经过拟合的特征点坐标后，使用插值算法，求取图像上除特征点以外像素的新的坐标位置。

4.根据权利要求3所述的一种扩展小孔成像模型的鱼眼相机矫正与标定方法，其特征在于：扩展小孔成像模型适用视场范围的基本原理是直线的投影仍然是直线，在小孔成像模型的基础上，结合直线拟合以及自然邻点插值，把矫正的视场范围扩大，包括基于小孔模型的畸变矫正、特征点直线拟合以及自然邻点插值。