CN105976377A - 车载鱼眼摄像头自标定的方法 - Google Patents

Abstract

本发明提出了一种车载鱼眼摄像头自标定的方法，用于解决现有基于图像序列的自标定方法中存在的标定精度较低、应用范围小的技术问题，包括如下步骤：(1)利用车载鱼眼摄像头拍摄车沿直线行驶的路面视频；(2)提取特征点，并选取不在同一直线上的特征点；(3)跟踪所选取的特征点；(4)建立拟合模型，确定摄像头参数初始值，利用特征点满足的共线约束方程，建立特征点关系行列式；(5)优化关于摄像头参数的非线性方程组(6)判断标定结果是否合理，若合理，车载鱼眼摄像头自标定结束，否则，执行步骤(2)。本发明具有标定结果精度高、应用范围广的特点，可用于确定车载鱼眼摄像头几何模型参数。

Description

车载鱼眼摄像头自标定的方法

技术领域

本发明属于图像处理及计算机视觉技术领域，涉及一种摄像头标定方法，具体涉及一种车载鱼眼摄像头自标定的方法，可用于确定车载鱼眼摄像头几何模型参数。

背景技术

在图像测量过程以及计算机视觉的应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像头成像的几何模型，这些几何模型参数就是摄像头参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为摄像头标定。

摄像头标定的方法分为两类：基于标定物的标定方法和基于图像序列的自标定方法，其中基于标定物的标定方法是利用标定物存在的特征点和其在图像上对应点之间的关系，求解摄像头参数，完成标定过程，标定物常见的有平面棋盘格和球体，但这些方法需要定制标定物，在标定物的放置和使用上有严格的要求，使用起来较为复杂。

基于图像序列的自标定方法和基于标定物的标定方法不同，它不需要定制标定物，只是利用场景的几何约束关系或者摄像头自身运动产生的约束关系，建立不同图像中的对应点满足的约束方程，求解得到摄像头参数，完成摄像头的标定。但是，自标定方法的精度一般比基于标定物的方法要差，而决定标定精度的因素主要是摄像头模型和优化方法的选择。例如：在文献Hughes C,Mcfeely R,Denny P,et al.Equidistant fish-eyeperspective with application in distortion centre estimation[J].Image&VisionComputing,2010,28(3):538–551.和C.Hughes,P.Denny,M.Glavin et al.Equidistantfish-eye calibration and rectification by vanishing point extraction[J].IEEETrans.Pattern Analysis and Machine Intelligence,2010,32(12):2289-2296中Hughes等人基于等距投影模型利用灭点的性质来估计摄像头参数，该方法只适用于等距投影模型，应用范围小，而在文献Zhu H J,Yang P,Li S G.Estimating fisheye cameraparameters from homography[J].Sci China Inf Sci,2012,55:2119–2127中ZhuHaijiang等人提出了一种利用两幅鱼眼图像之间的单应关系线性求解鱼眼摄像头参数中畸变系数的方法，这种方法在鱼眼摄像头的主点坐标、焦距等参数已知的情况下，根据鱼眼图像的对应点求出单应矩阵，然后从单应矩阵导出对摄像头参数的线性约束，从而求解出模型参数，该方法不能保证所得摄像头参数是准确的，并且没有进行整体优化，所以得到的结果精度不高。

发明内容：

本发明的目的在于克服上述现有技术存在的不足，提出了一种车载鱼眼摄像头自标定的方法，在车保持直线行驶的过程中，利用车载鱼眼摄像头拍摄行车路面，得到行车路面视频，利用路面视频中存在的几何关系，完成摄像头自标定的过程。用于解决现有基于图像序列的自标定方法中存在的标定精度较低、应用范围小的技术问题。

本发明的技术思路是，在平整路段，使汽车保持直线，行驶一个车身距离，通过车载鱼眼摄像头拍摄路面，提取路面的特征点，并跟踪这些特征点在不同画面中的位置信息，本应形成一条直线轨迹的特征点，在鱼眼图像中呈现为曲线，利用特征点共线这一几何关系和鱼眼摄像头模型，得到摄像头参数的初始值，并将不同特征点的坐标信息和摄像头参数初始值带入行列式J中，形成多个包含摄像头参数的方程。其中，J为同一特征点在三幅不同图像中的坐标所满足的行列式关系。后利用优化算法，求解出车载鱼眼摄像头的参数终值，完成车载鱼眼摄像头的自标定。

根据上述技术思路，实现本发明目的采取的技术方案，包括如下步骤：

步骤1，利用车载鱼眼摄像头对车沿直线行驶的路面进行拍摄，得到和车身距离等长的路面鱼眼视频。

步骤2，提取得到的鱼眼视频第一帧中路面的特征点，并对特征点的位置和数量进行控制，使所选取的特征点不在同一条直线上。

步骤3，跟踪选取的第一帧中路面的特征点，获取同一特征点在不同帧中的坐标信息。

步骤4，建立鱼眼摄像头拟合模型：

其中，r_d为得到的畸变图像的特征点到主点坐标的距离，r_u为得到的畸变校正后图像对应的特征点到主点坐标的距离，k₁、k₂、k₃、k₄和k₅为车载鱼眼摄像头畸变系数D的五个不同位置系数，即D＝(k₁,k₂,k₃,k₄,k₅)。

步骤5，利用步骤3获取的同一特征点在不同帧中的坐标信息，求取车载鱼眼摄像头焦距的初始值，按如下步骤实现：

步骤5a，将步骤3获取的同一特征点在不同帧中的坐标信息，带入行列式其中，J是位于同一条直线上的三个特征点坐标信息满足的关系行列式；u₁、u₂和u₃分别为不同帧中以图像左上角坐标为坐标原点时的横坐标；v₁、v₂和v₃分别为对应各帧中以图像左上角坐标为坐标原点时的纵坐标；u₀和v₀分别为得到的鱼眼视频中，每一帧图像的主点坐标；s(θ_d1)、s(θ_d2)和s(θ_d3)分别为步骤4得到的鱼眼摄像头拟合模型在三幅不同鱼眼图像中的值， 和f_x和f_y分别为焦距在x轴和y轴方向的分量。

步骤5b，对带入的行列式J中的s(θ_d1)、s(θ_d2)和s(θ_d3)的后四位系数均置0，得到鱼眼摄像头单参数除法模型： 和

步骤5c，对得到的鱼眼摄像头单参数除法模型与模型进行拟合，其中r_d＝fθ_d为鱼眼摄像头等距投影模型，表示畸变图像的特征点到主点坐标的距离，r_u＝f tanθ_d表示畸变校正后图像对应的特征点到主点坐标的距离，拟合后得到畸变系数D的初始值D'＝(k₁',0,0,0,0)。

步骤5d，将得到的畸变系数的初始值D'带入s(θ_d1)、s(θ_d2)和s(θ_d3)中，得到和

步骤5e，将得到的和带入行列式J中，得到

步骤5f，利用得到的行列式J'，假设f_x＝f_y＝f，求取车载鱼眼摄像头焦距f的初始值f'。

步骤6，对得到的鱼眼视频中的任一帧图像的边缘进行拟合，得到圆形曲线，并将该圆形曲线的圆心坐标作为主点坐标初始值(u,v)。

步骤7，利用行列式J对得到的畸变系数初始值D'、焦距初始值f'和主点坐标初始值(u,v)进行优化，得到畸变系数的终值、焦距的终值和主点坐标的终值。

步骤8，利用得到的畸变系数的终值、焦距的终值和主点坐标的终值，对得到的鱼眼视频中的各帧图像进行畸变校正。

步骤9，根据畸变校正后的各帧图像的畸变是否消除，判断得到的畸变系数终值、焦距终值和主点坐标终值是否合理，若是，车载鱼眼摄像头自标定结束，否则，执行步骤2。

本发明与现有技术相比，具有如下的优点：

第一，本发明由于确定车载鱼眼摄像头参数时，采用鱼眼摄像头拟合模型，同时对鱼眼摄像头参数初始值进行整体优化，与现有自标定方法中采用单一模型并进行局部优化的方法相比，提高了标定精度。

第二，本发明由于确定车载鱼眼摄像头模型时，利用现有鱼眼摄像头模型进行拟合，得到更具一般性的鱼眼摄像头模型，与现有的自标定方法中采用的鱼眼摄像头模型相比，适用范围更加广泛，可用于多种类型鱼眼摄像头的标定。

附图说明：

图1为本发明的实现流程框图；

图2为本发明实施例的过程截图。

具体实施方式

下面结合附图和实施例，对本发明作进一步详细说明。

参照图1，本发明包括如下步骤：

步骤1，利用车载鱼眼摄像头对车沿直线行驶的路面进行拍摄，得到和车身距离等长的路面鱼眼视频：

选好一段平整路段，让装有鱼眼摄像头的汽车在该路段沿直线行驶一个车身距离，用鱼眼摄像头拍摄行车路面。当车行驶达到一个车身距离时，停止拍摄。得到一段和车身距离等长的路面鱼眼视频。图2(a)是鱼眼视频截图。

步骤2，提取得到的鱼眼视频第一帧中路面的特征点，并对特征点的位置和数量进行控制，使所选取的特征点不在同一条直线上：

在得到的鱼眼图像中，利用SIFT算法提取鱼眼视频第一帧中路面的特征点，并对特征点的位置和数量进行控制，使所选取的特征点不在同一条直线上。

步骤3，跟踪选取的第一帧中路面的特征点，获取同一特征点在不同帧中的坐标信息：

利用LK光流法，跟踪所选取的第一帧中路面的特征点，获取同一特征点在不同帧中的坐标信息，并得到不同特征点随着车行走的轨迹。图2(b)为不同特征点的轨迹。

步骤4，建立鱼眼摄像头拟合模型：

假设鱼眼图像中的一个图像点为(u_d,v_d)^T，其到图像畸变中心的距离为r_d，经过畸变校正后对应的图像点为(u_u,v_u)^T，其到图像畸变中心的距离为r_u，并假设畸变中心的坐标为(u₀,v₀)^T。则根据鱼眼摄像头成像模型，畸变点与无畸变点之间存在如下关系：

$u_d=\frac{r_d}{r_u}(u_u-u_0)+u_0$

$v_d=\frac{r_d}{r_u}(v_u-v_0)+v_0$

以图像畸变中心为图像坐标系的原点，变换以上两个公式，则对应的透视图像中的无畸变点的齐次坐标可以表示为：

${(u_u,v_u,1)}^T={(u_d,v_d,\frac{r_d}{r_u})}^T$

从上式可以看出，的值是影响鱼眼图像中的畸变点与校正后的透视投影图像上的无畸变点的主要因素。

将等距投影模型r_d＝fθ、等立体角模型正交投影模型r_d＝fsinθ和体视投影模型统一以等距投影模型r_d＝fθ的形式表示，其中f为摄像头焦距，θ为入射光线与鱼眼摄像头光轴之间的夹角。

令等距投影模型r_d＝fθ＝fθ_d，其中θ_d是与θ具有对应关系的角度表示，则有

$\frac{r_d}{r_u}=\frac{{\mathrm{f\θ}}_d}{f{\mathrm{tan\θ}}_d}=\frac{{\mathrm{\θ}}_d}{{\mathrm{tan\θ}}_d}---\left(1\right)$

同理，根据等立体角投影模型可得：

$\frac{r_d}{r_u}=\frac{{\mathrm{\θ}}_d}{tan\left(2arcsin\right(\frac{{\mathrm{\θ}}_d}{2}))}=\frac{|2-{\mathrm{\θ}}_d^2|}{\sqrt{4-{\mathrm{\θ}}_d^2}}---\left(2\right)$

根据正交投影模型r_d＝f sinθ＝fθ_d，可得：

$\frac{r_d}{r_u}=\frac{f\sin \mathrm{\θ}}{ftan\mathrm{\θ}}=cos\mathrm{\θ}=cos\left(arcsin\right({\mathrm{\θ}}_d\left)\right)={(1-{\mathrm{\θ}}_d^2)}^{\frac{1}{2}}---\left(3\right)$

根据体视投影模型可得：

$\frac{r_d}{r_u}=\frac{4-{\mathrm{\θ}}_d^2}{4}---\left(4\right)$

从式(1)～(4)，可以看出为偶函数，该偶函数展开式可以表示为：

$\frac{r_d}{r_u}=k_0+k_1{\mathrm{\θ}}_d^2+k_2{\mathrm{\θ}}_d^4+k_3{\mathrm{\θ}}_d^6+k_4{\mathrm{\θ}}_d^8+k_5{\mathrm{\θ}}_d^{10}+...$

通过多项式对上述四种模型的进行拟合，当θ_d达到10次方时，即可满足精度要求，即：

$s\left({\mathrm{\θ}}_d\right)=\frac{r_d}{r_u}=1+k_1{\mathrm{\θ}}_d^2+k_2{\mathrm{\θ}}_d^4+k_3{\mathrm{\θ}}_d^6+k_4{\mathrm{\θ}}_d^8+k_5{\mathrm{\θ}}_d^{10},$

其中k₁、k₂、k₃、k₄和k₅为车载鱼眼摄像头畸变系数D的五个不同位置系数，即D＝(k₁,k₂,k₃,k₄,k₅)；

步骤5，利用获取的同一特征点在不同帧中的坐标信息，求取车载鱼眼摄像头焦距的初始值，按如下步骤实现：

步骤5a，将获取的同一特征点在不同帧中的坐标信息，带入行列式其中，J是位于同一条直线上的三个特征点坐标信息满足的关系行列式；u₁、u₂和u₃分别为不同帧中以图像左上角坐标为坐标原点时的横坐标；v₁、v₂和v₃分别为对应各帧中以图像左上角坐标为坐标原点时的纵坐标；u₀和v₀分别为得到的鱼眼视频中，每一帧图像的主点坐标；s(θ_d1)、s(θ_d2)和s(θ_d3)分别为步骤4得到的鱼眼摄像头模型在三幅不同鱼眼图像中的值， 和f_x和f_y分别为焦距在x轴和y轴方向的分量；

步骤5b，对带入的行列式J中的s(θ_d1)、s(θ_d2)和s(θ_d3)的后四位系数均置0，得到鱼眼摄像头单参数除法模型： 和

步骤5c，对得到的鱼眼摄像头单参数除法模型与模型进行拟合，拟合后得到畸变系数D的初始值D'＝(k₁',0,0,0,0)；

步骤5d，将得到的畸变系数的初始值D'带入s(θ_d1)、s(θ_d2)和s(θ_d3)中，得到和

步骤5e，将得到的和带入行列式J中，得到

步骤5f，利用得到的行列式J',假设f_x＝f_y＝f，求取车载鱼眼摄像头焦距f的初始值f'；

根据鱼眼摄像头等距投影模型r_d＝fθ_d，可以得到将行列式J'展开，并令得到

步骤6，对得到的鱼眼视频中的任一帧图像的边缘进行拟合，得到圆形曲线，并将该圆形曲线的圆心坐标作为主点坐标初始值(u,v)：

选取得到的鱼眼视频中的任一帧图像，由于图像的边缘轮廓呈现为圆形曲线，我们对其轮廓边缘进行拟合，得到圆形曲线方程，并将该圆形曲线的圆心坐标作为主点坐标初始值(u,v)；

步骤7，利用行列式J对得到的畸变系数初始值D'、焦距初始值f'和主点坐标初始值(u,v)进行优化，得到畸变系数的终值、焦距的终值和主点坐标的终值：

将得到的行列式J展开，得到：

$\begin{array}{c}J=\left|\begin{array}{ccc}{u}_1-u_0& v_1-v_0& s\left({\mathrm{\θ}}_{d1}\right)\\ u_2-u_0& v_2-v_0& s\left({\mathrm{\θ}}_{d2}\right)\\ u_3-u_0& v_3-v_0& s\left({\mathrm{\θ}}_{d3}\right)\end{array}\right|\\ =s\left({\mathrm{\θ}}_{d1}\right)\left|\begin{array}{cc}{u}_2-u_0& v_2-v_0\\ u_3-u_0& v_3-v_0\end{array}\right|-s\left({\mathrm{\θ}}_{d2}\right)\left|\begin{array}{cc}{u}_1-u_0& v_1-v_0\\ u_3-u_0& v_3-v_0\end{array}\right|+s\left({\mathrm{\θ}}_{d3}\right)\left|\begin{array}{cc}{u}_1-u_0& v_1-v_0\\ u_2-u_0& v_2-v_0\end{array}\right|\end{array}$

令目标函数F为：

$F=s\left({\mathrm{\θ}}_{d1}\right)\left|\begin{array}{cc}{u}_2-u_0& v_2-v_0\\ u_3-u_0& v_3-v_0\end{array}\right|-s\left({\mathrm{\θ}}_{d2}\right)\left|\begin{array}{cc}{u}_1-u_0& v_1-v_0\\ u_3-u_0& v_3-v_0\end{array}\right|+s\left({\mathrm{\θ}}_{d3}\right)\left|\begin{array}{cc}{u}_1-u_0& v_1-v_0\\ u_2-u_0& v_2-v_0\end{array}\right|$

根据不同的特征点，可得到多条曲线。将步骤3中得到的坐标信息带入目标函数F，得到一组关于车载鱼眼摄像头参数的非线性方程。采用列文伯格-马夸尔特优化算法，对所得到的多个目标函数F进行优化，当迭代误差小于一个设定的阈值时，结束迭代，此时得到的结果，作为鱼眼摄像头畸变系数的终值、焦距的终值和主点坐标的终值。

步骤8，利用得到的畸变系数的终值、焦距的终值和主点坐标的终值，对得到的鱼眼视频中的各帧图像进行畸变校正：

将得到的畸变系数的终值、焦距的终值和主点坐标的终值，作为标定结果，对得到的鱼眼视频中的各帧图像进行畸变校正。图2(c)为鱼眼图像校正结果。

步骤9，根据畸变校正后的各帧图像的畸变是否消除，判断得到的畸变系数终值、焦距终值和主点坐标终值是否合理，若是，车载鱼眼摄像头自标定结束，否则，执行步骤2。

参照图2，图2(a)为鱼眼视频截图，从中可看出，路边本应呈现为直线的黄色实线，在鱼眼视频中呈现为曲线；图2(b)为不同特征点的轨迹，从中可看出，本应形成一条直线轨迹的特征点，在鱼眼图像中也呈现为曲线；图2(c)为鱼眼图像校正结果，从中可看出，在鱼眼视频中为曲线的黄色实线，经过校正后变为直线，鱼眼视频中的图像畸变得到校正。

Claims (5)

1.一种车载鱼眼摄像头自标定的方法，包括如下步骤：

(1)利用车载鱼眼摄像头对车沿直线行驶的路面进行拍摄，得到和车身距离等长的路面鱼眼视频；

(2)提取得到的鱼眼视频第一帧中路面的特征点，并对特征点的位置和数量进行控制，使所选取的特征点不在同一条直线上；

(3)跟踪选取的第一帧中路面的特征点，获取同一特征点在不同帧中的坐标信息；

(4)建立鱼眼摄像头拟合模型：其中，r_d为得到的畸变图像的特征点到主点坐标的距离，r_u为得到的畸变校正后图像对应的特征点到主点坐标的距离，k₁、k₂、k₃、k₄和k₅为车载鱼眼摄像头畸变系数D的五个不同位置系数，即D＝(k₁,k₂,k₃,k₄,k₅)；

(5)利用步骤(3)获取的同一特征点在不同帧中的坐标信息，求取车载鱼眼摄像头焦距的初始值，按如下步骤实现：

5a)将步骤(3)获取的同一特征点在不同帧中的坐标信息，带入行列式其中，J是位于同一条直线上的三个特征点坐标信息满足的关系行列式；u₁、u₂和u₃分别为不同帧中以图像左上角坐标为坐标原点时的横坐标；v₁、v₂和v₃分别为对应各帧中以图像左上角坐标为坐标原点时的纵坐标；u₀和v₀分别为得到的鱼眼视频中，每一帧图像的主点坐标；s(θ_d1)、s(θ_d2)和s(θ_d3)分别为步骤(4)得到的鱼眼摄像头拟合模型在三幅不同鱼眼图像中的值， 和f_x和f_y分别为焦距在x轴和y轴方向的分量；

5b)对带入的行列式J中的s(θ_d1)、s(θ_d2)和s(θ_d3)的后四位系数均置0，得到鱼眼摄像头单参数除法模型： 和

5c)对得到的鱼眼摄像头单参数除法模型与模型进行拟合，其中r_d＝fθ_d为鱼眼摄像头等距投影模型，表示畸变图像的特征点到主点坐标的距离，r_u＝ftanθ_d表示畸变校正后图像对应的特征点到主点坐标的距离，拟合后得到畸变系数D的初始值D'＝(k₁',0,0,0,0)；

5d)将得到的畸变系数的初始值D'带入s(θ_d1)、s(θ_d2)和s(θ_d3)中，得到和

5e)将得到的和带入行列式J中，得到

5f)利用得到的行列式J'，假设f_x＝f_y＝f，求取车载鱼眼摄像头焦距f的初始值f'；

(6)对得到的鱼眼视频中的任一帧图像的边缘进行拟合，得到圆形曲线，并将该圆形曲线的圆心坐标作为主点坐标初始值(u,v)；

(7)利用行列式J对得到的畸变系数初始值D'、焦距初始值f'和主点坐标初始值(u,v)进行优化，得到畸变系数的终值、焦距的终值和主点坐标的终值；

(8)利用得到的畸变系数的终值、焦距的终值和主点坐标的终值，对得到的鱼眼视频中的各帧图像进行畸变校正；

(9)根据畸变校正后的各帧图像的畸变是否消除，判断得到的畸变系数终值、焦距终值和主点坐标终值是否合理，若是，车载鱼眼摄像头自标定结束，否则，执行步骤(2)。

2.根据权利要求1所述的车载鱼眼摄像头自标定的方法，其特征在于：步骤(2)中所述的提取得到的鱼眼视频第一帧中路面的特征点，采用SIFT算法。

3.根据权利要求1所述的车载鱼眼摄像头自标定的方法，其特征在于：步骤(3)中所述的跟踪提取的第一帧中路面的特征点，采用LK光流法。

4.根据权利要求1所述的车载鱼眼摄像头自标定的方法，其特征在于：步骤(4)中所述的建立鱼眼摄像头拟合模型是由等距投影模型，等立体角投影模型、正交投影模型和体视投影模型变换拟合得到。

5.根据权利要求1所述的车载鱼眼摄像头自标定的方法，其特征在于：步骤(7)所述的利用行列式J对得到的畸变系数初始值D'、焦距初始值f'和主点坐标初始值(u,v)进行优化，采用列文伯格-马夸尔特算法。