CN101685532A - 简易线性广角镜头的校正法 - Google Patents

Abstract

本发明为一种简易线性广角镜头校正法，包括：摄取含有直线场景的照像，用直线检测算法提取直线，再提取来自直线上的图像点；对来自同一直线上的图像点进行三点组合；应用广义除式模型，基于每个组合，建立一个畸变参数的线性方程，计算畸变参数，对畸变参数优化；应用求解的摄像机镜头的内参数对镜头进行校正。本发明提供的方法完全是线性的，不需要进行曲线拟和，所以简便、实用。而且所采用的广义除式模型考虑的畸变参数更全面，从而测量精度能满足通常的需要，具有鲁棒性好、稳定性高等特点。本发明使得广角镜头校正走向实用化、简便化。

Description

简易线性广角镜头的校正法

技术领域

本发明属于摄像机技术领域，涉及广角摄像机的标定和校正技术。

背景技术

很多摄像机镜头都产生畸变，尤其是广角镜头的畸变更大。广角镜头摄像机包括反射折射、鱼眼等等摄像机。广角摄像机立体视觉系统在微小型机器人视觉导航和近距离大视场物体识别与定位中有着广泛的应用。它在视觉监控、跟踪和机器人导航中，具有独特的宽阔视野，可以弥补标准镜头视场较窄的缺点。但是，广角镜头具有一个很大的缺点就是所拍摄的图像存在非常严重的变形，这对基于广角镜头的视频装置直接进行监控、跟踪带来非常大的困难。因此，在利用鱼眼(或广角)镜头的监控技术中，很重要的一步就是如何通过采集获取的广角图像对广角镜头进行校正。在前人提出的校正方法中，需要曲线拟合，由于曲线是很小段的曲线，拟合结果对于后续的校正带来很大的不稳定性；而有些方法过于复杂，很难运用于实际。

发明内容

为了解决现有技术的问题，本发明的目的是便于工程计算和实施，同时在精度要求不高的情况下完全能满足工程需要，为此而提出一种简易线性广角镜头的校正方法。

为实现上述目的，简易线性广角镜头的校正法包括步骤：

1).摄取含有直线场景的图像，用直线检测算法来提取直线，再提取来自图像直线上的图像点；

2).对来自同一直线上的图像点进行三点组合；

3).应用广义除式模型，基于每个组合，建立一个畸变参数的线性方程为：

$\left(u_3^2\right[m_1{m}_2{m}_0]-u_2^2[m_1{m}_3{m}_0]+u_1^2[m_2{m}_3{m}_0\left]\right)k_1$

$+\left(v_3^2\right[m_1{m}_2{m}_0]-v_2^2[m_1{m}_3{m}_0]+v_1^2[m_2{m}_3{m}_0\left]\right)k_2;$

$+\left(u_3{v}_3\right[m_1{m}_2{m}_0]-u_2{v}_2[m_1{m}_3{m}_0]+u_1{v}_1[m_2{m}_3{m}_0\left]\right)k_3-\left[m_1{m}_2{m}_3\right]=0,$

式中m₀表示畸变中心的齐次坐标，是以图像中心作为初始值，m₁，m₂，m₃表示直线图像上三个点的齐次坐标，(u_i，v_i)为m_i-m₀前两个坐标对应的值；

4).对上述线性方程进行求解，将计算结果作为畸变参数k₁、k₂、k₃的初始值；

5).应用最小二乘准则，使用计算结果误差最小的准则进行优化对畸变参数k₁、k₂、k₃进行优化；

6).应用求解的畸变参数k₁、k₂、k₃对镜头进行校正：

是根据畸变参数k₁、k₂、k₃求解摄像机的内参数为：

$f_u=\frac{1}{\sqrt{k_1}},$ $f_v=\sqrt{\frac{k_1}{k_1{k}_2-\frac{k_3^2}{4}}},$ $s=-\frac{k_3}{2k_1}{f}_v,$

内参数是指镜头成像模型与镜头本身有关的参数，准确计算出这些参数后，就能对图像的畸变进行校正。

本发明提供的方法完全是线性的，不需要进行曲线拟和，所以简便、实用。本发明的方法可以方便的应用于工程计算和工程实施，完全能够满足精度要求不高的工程需要。在精度要求很高的情况下，可以作为高精度算法的初始值进一步优化，而且所采用的广义除式模型考虑的畸变参数更全面，从而测量精度能满足通常的需要，具有鲁棒性好、稳定性高等特点。本发明使得广角镜头校正走向实用化、简便化。

附图说明

图1(a)是一幅广角Sigma-F3.4鱼眼镜头所拍摄的室内图像；(b)是应用本方法校正的结果。

图2(a)是一幅广角FC-E8鱼眼镜头所拍摄的室外图像；(b)是应用本方法校正的结果。

图3(a)是一幅广角FC-E8鱼眼镜头所拍摄的室外图像；(b)是应用本方法校正的结果。

图4为本发明的流程图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

为了实现本发明的方法，实施时采用一台CPU是1.6G，内存是512M，硬盘80G的计算机或其他类型的计算机，在计算机上采用Matlab编制相关程序，现面请参见图4本发明方法的流程图，本发明方法的具体实施步骤如下：

1.直线图像点提取

对包含直线的场景，进行图像拍摄。现实生活中，大量的场景都包含直线，如办公室内的天花板上逐个排列成直线，地板往往也是。对于等大小的天花板和地板，采用四方板上的角点为直线点的话，可以很好的确定直线点的相互位置，因为都是等间隔大小。在室外场景中，也包含大量的直线场景，如同一层楼逐次排列的窗户。对拍摄的图像，用成熟的直线检测算法如哈夫变换(hough transform)来提取直线，再提取直线的图像点，也可以采取人机交互的方法，直接用鼠标选取图像的，然后计算机记录选取点的位置提取图像点。利用拍摄的场景中有1条或1条以上的直线，对直线上的图像点进行提取。理论上来说，一条直线上的点足以计算出摄像机镜头的畸变参数，如果使用很多条直线图像，将增加计算结果的稳定性，因为直线越多，所得到的方程越多，所以可以是方程解算的结果总体误差最小，从而是解算结果不依赖于某一条直线。设图像场景中提取出N条直线，在每条直线图像上提取的点组成一个序列用LS_i来表示，i＝1，...，N。

2.点组生成

对每一个直线图像点序列LS_i，用P₁，P₂，P₃表示起始点，中间点，和最后一个点。除去这三点，LS_i为中其余的点集用RP表示。用RP中P₁，P₂邻阈外的点分别与(P₁，P₂)进行组合，从而形成不同的三元组。对(P₁，P₃)和(P₂，P₃)都重复这样的过程。所有的三元点集记作集合G。点组的选取使得一个点组包括三个点，三个点来自同一条直线，无需对提取的点组进行任何线的拟合。采用这种方法生成点组的目的是为了使得选取的每个三元组中的三个点都保持一定的距离。这是应为我们要校正畸变，所以尽量保持三个点之间有很大畸变，如果三个点靠得很近，就会使得三个图像点接近成一条直线，这会使得计算结果对误差很敏感，所以尽量让选取的点保持一定距离。

3.基于广义除式模型建立方程

对G中的每个三元组(m₁，m₂，m₃)，建立下列方程：

$\left(u_3^2\right[m_1{m}_2{m}_0]-u_2^2[m_1{m}_3{m}_0]+u_1^2[m_2{m}_3{m}_0\left]\right)k_1$

$+\left(v_3^2\right[m_1{m}_2{m}_0]-v_2^2[m_1{m}_3{m}_0]+v_1^2[m_2{m}_3{m}_0\left]\right)k_2$

$+\left(u_3{v}_3\right[m_1{m}_2{m}_0]-u_2{v}_2[m_1{m}_3{m}_0]+u_1{v}_1[m_2{m}_3{m}_0\left]\right)k_3-\left[m_1{m}_2{m}_3\right]=0,$

其中k₁，k₂，k₃为畸变参数，m₀表示畸变中心的齐次坐标(以图像中心作为初始值)，m₁，m₂，m₃表示直线图像上三个点的齐次坐标，(u_i，v_i)为m_i-m₀前两个坐标对应的值。可以看出以上方程关于畸变参数是完全线性的。线性方程的好处是易于求解，且求解的结果比较稳定。依次对G中的每个三元组，建立相应的线性方程，这样就建立了大量的线性方程，线性方程数量越多，求解的结果就会越鲁棒。

4.畸变参数计算

基于2)与3)，对每个点组都建立相应的一个线性方程，对多个图像点选取多个图像点组，从而建立多个线性方程，然后根据多个线性方程应用奇异值分解(sigular value decomposition，SVD)方法解算出畸变参数(k₁，k₂，k₃)，对上述线性方程进行求解，求解结果作为畸变参数(k₁，k₂，k₃)的初始值。SVD分解对解线性方程非常有效，能保证求解的结果比较可靠。

5.畸变参数优化

应用最小二乘准则，使用计算结果误差最小的准则进行优化对畸变参数k₁，k₂，k₃进行优化。优化的代价函数为步骤3中(k₁，k₂，k₃)结果加权的残差平方和。基于4)对畸变参数进行最小平方差优化，由于基于点点的信息，所包含的信息多，优化结果很鲁棒。参数优化的目的是为了是结果的总体误差最小，这样得到的结果也是最合理的。

6.应用求解的畸变参数k₁，k₂，k₃对镜头进行校正

根据畸变参数求解摄像机的内参数_u、f_v、s为：

$f_u=\frac{1}{\sqrt{k_1}},$ $f_v=\sqrt{\frac{k_1}{k_1{k}_2-\frac{k_3^2}{4}}},$ $s=-\frac{k_3}{2k_1}{f}_v,$

其中：记 $K=\left(\begin{array}{ccc}{f}_u& s& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right);$

利用公式K^-1(s_m m-m₀)对图像点m进行校正，

$s_m=\frac{2}{1+k_1{u}^2+k_2{v}^2+k_3\mathrm{uv}},$

(u，v)为m的坐标；f_u为焦距与像素点在水平方向宽度的比值，f_v为焦距与像素点在垂直方向宽度的比值，s为图像平面不垂直光轴产生的畸变因子，(u₀，v₀)为光轴与图像平面交点坐标，这些参数组成摄像机的内参数矩阵K。s_m指矩阵K中根据m算出的s值。

图1内容为办公室场景图像，图2为室外场景一建筑物侧面图像，图3为室外场景一建筑物正面图像。

图1(a)为Nikon D40摄像机加Sigma-F3.4鱼眼镜头拍摄的室内图像。图2(a)，图3(a)为NIKON COOLPIX990摄像机加FC-E8鱼眼镜头所拍摄的室外图像。首先对拍摄的图像进行直线图像点提取，从提取的结果组和点，然后公式解算，优化参数。基于图1(a)，图2(a)，图3(a)的畸变参数求解结果分别为：

k₁＝6.8875*10^-6，k₂＝6.7741*10^-6，k₃＝1.3896*10^-8。

k₁＝7.5997*10^-6，k₂＝7.5997*10^-6，k₃＝-8.9696*10^-7。

k₁＝7.6471*10^-6，k₂＝7.6471*10^-6，k₃＝-1.1138*10^-7。

应用这些求解参数对图像进行校正，校正结果分别如图1(b)，图2(b)，图3(b)所示。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.简易线性广角镜头校正法，包括步骤如下：

步骤S1：摄取含有直线场景的图像，用直线检测算法提取直线，再提取来自图像直线上的图像点；

步骤S2：对来自同一直线上的图像点进行三点组组合；

步骤S3：应用广义除式模型，基于每个组合，建立一个畸变参数的线性方程为：

$\left(u_3^2\right[m_1{m}_2{m}_0]-u_2^2[m_1{m}_3{m}_0]+u_1^2[m_2{m}_3{m}_0\left]\right)k_1$

$+\left(v_3^2\right[m_1{m}_2{m}_0]-v_2^2[m_1{m}_3{m}_0]+v_1^2[m_2{m}_3{m}_0\left]\right)k_2$

$+\left(u_3{v}_2\right[m_1{m}_2{m}_0]-u_2{v}_2[m_1{m}_3{m}_0]+u_1{v}_1[m_2{m}_3{m}_0\left]\right)k_3-\left[m_1{m}_2{m}_3\right]=0,$

式中m₀表示畸变中心的齐次坐标，是以图像中心作为初始值，m₁，m₂，m₃表示直线图像上三个点的齐次坐标，(u_i，v_i)为m_i-m₀前两个坐标对应的值；

步骤S4：对上述线性方程进行求解，将计算结果作为畸变参数k₁、k₂、k₃的初始值；

步骤S5：应用最小二乘准则，使用计算结果误差最小的准则对畸变参数k₁、k₂、k₃进行优化；

步骤S6：根据畸变参数k₁、k₂、k₃求解摄像机镜头的内参数为：

$f_u=\frac{1}{\sqrt{k_1}},$ $f_v=\sqrt{\frac{k_1}{k_1{k}_2-\frac{k_3^2}{4}}},$ $s=-\frac{k_3}{2k_1}{f}_v,$

利用镜头成像模型与镜头本身有关的内参数，准确计算出内参数后，完成对图像的畸变进行校正。

2.按权利要求1所述的简易广角镜头校正法，其特征在于，利用拍摄的场景中有1条或1条以上的直线，提取直线上的图像点。

3.按权利要求1所述的简易广角镜头校正法，其特征在于，对每个点组建立相应的一个线性方程，对多个图像点选取多个图像点组，从而建立多个线性方程，然后根据多个方程用奇异值分解方法解算出畸变参数。

4.按权利要求1所述的简易广角镜头校正法，其特征在于，对畸变参数k₁、k₂、k₃进行最小平方差优化，使用大量的图像点建立多个方程，基于点点的信息，获得鲁棒优化结果。

Images