CN101727671A - 基于路面共线三点及其平行线的单摄像机标定方法 - Google Patents

Abstract

本发明公开了一种基于路面共线三点及其平行线的单摄像机标定方法。包含如下步骤：(1)建立图像二维坐标系和地面二维世界坐标系；(2)在交通场景内选择车行道分界直线中的三点及平行的车行道边缘直线作为标定目标，测量三点间距和两条平行直线的间距，并获取标定目标在图像中对应像素的坐标；(3)求解平行线在地面世界坐标系中的角度；(4)求解摄像机的焦距和俯视角参数；(5)求解图像坐标系与地面世界坐标系中各对应点的坐标换算关系，最终完成摄像机标定。本发明不需要在交通场景中放置规则的标定矩形，仅需要交通标线上三点及其平行线，方法简单易用、针对性和通用性好。

Description

基于路面共线三点及其平行线的单摄像机标定方法

技术领域

本发明涉及一种交通技术领域的单摄像机标定方法，特别涉及一种基于路面共线三点及其平行线的单摄像机标定方法。

背景技术

随着通信与网络技术、传感器技术、图像处理及模式识别技术的发展，智能交通信息监测技术得到长足的进展。以摄像机等视觉传感器为基础，依靠机器视觉和模式识别等理论的道路交通信息工程技术已逐渐趋于成熟，在电子警察、高速公路监控等领域得到广泛应用。在交通监视中，根据摄像机获取的道路现场图像，计算道路上的交通参数，如车流量、瞬时车速、平均车速、占有率等信息。在实际检测的过程中，需要建立图像中像素点与实际路面中位置点之间的映射关系。该映射关系，与摄像机成像的几何模型有关。模型中的参数必须通过必要的摄像机标定过程来决定，从而建立图像中每一个像素点和实际路面中相应位置点的映射关系，进而根据数字图像的像素点的变化计算出车速、车流等交通信息。

常用的摄像机标定方法多采用传统标定方式和自标定方法。传统标定方法在一定的摄像机模型下，基于特定的实验条件如形状、尺寸已知的参照物，对其图像进行处理，利用一系列数学变换和计算方法、求取摄像机模型的内部参数和外部参数；自标定方法直接分析获得的多幅平移或旋转的序列图像信息，提取表征摄像机内参数自身存在约束的匹配点，建立基于二次曲线(曲面)的虚拟标定块，从而标定摄像机参数。在交通监视环境中，摄像机拍摄场景变化不大(一般是公路路面)，摄像机安装好后无旋转或平移的动作，摄像机标定精度要求不很高，因此通常采用特定几何尺寸的标定物按传统定标方法进行定标。

在交通监视环境下，通常依靠单摄像机实现交通信息的检测。由于三维世界在二维平面上投影带来的信息丢失，因此，要依据单视图来确定空间物体表面某点的三维几何位置与其在图像平面中对应点之间的相互关系是比较困难的。如果交通场景范围内的路面是较为平整的区域，可作地面平坦性假设。在此假设的基础上，根据摄像机参数和交通场景中路面的角度，可以准确获得地面二维平面各点坐标与图像平面各像素点坐标之间映射关系。

为了简化标定流程，结合路面上车道标线的几何特征，Nelson，Grantham和George等人引入了基于简单成像模型的交通视频监控系统摄像机标定方法(“A novel camera calibration technique for visual traffic surveillance，”7^th WorldCongress on Intelligence Transportation Systems，paper no.3024.2000)，采用相邻两车道线段平行且各端点顺时针依次相连构成的矩形作为标定目标，直接标定出摄像机焦距和方位参数。该方法需要在道路中选择一个矩形标定目标，而在很多交通场景中，矩形目标不容易获得，选定标定目标不够方便，存在一定局限性。与之类似，申请号为200410017703.1的专利申请采用一组彼此间距已知的三条平行线和一条斜率已知且与平行线相交的直线作为标定目标，标定出摄像机焦距和俯视角。而在交通场景内，通常只有平行的道路标线，而与平行线相交且斜率已知的斜线是不容易获取的，因此在选取标定目标方面也存在一定局限性。

发明内容

为了解决现有单摄像机标定方法存在的上述技术问题，本发明提出一种容易实施、操作简单的基于路面共线三点及其平行线的单摄像机标定方法。

本发明解决上述技术问题的技术方案包括以下步骤：

1)建立地面世界坐标系X_W-Y_W，其原点设定为透镜中心位置上垂直于摄像机光轴的直线与地面的交点，Y_W轴为摄像机光轴所在的且垂直于地面的平面与地面的交线，Y_W轴正方向为沿路面指向前方，X_W轴为透镜中心位置垂直于摄像机光轴的平面与地面的交线，X_W轴正方向为水平指向右方；

2)建立图像坐标系X_C-Y_C，其原点设定在图像的左下角(0，0)位置，X_C轴水平指向右方，Y_C轴垂直指向上方；

3)在路面中选取两条平行的交通标线，测量两平行线间的距离；在图像平面中，选取路面上每条平行直线在图像中对应投影线的10个像素点，用最小二乘法分别计算出两条直线在图像平面中的斜率与截距；在路面的两条平行线中，选取其中一条平行线上的三个点，并测量第一点与第二点间的距离以及第一点与第三点间的距离，在图像中，获得这三个点在图像平面中对应像素的坐标；

4)在图像平面的水平方向作一条水平直线，分别求出它与两条投影直线的交点坐标，根据这两个交点的图像平面坐标、两平行线间距离、三个点的图像平面坐标及三点间彼此的距离，计算平行线在地面坐标系中的角度；

5)根据平行线在地面世界坐标系中的角度、三个点的图像平面坐标及三点间距离、图像平面中水平直线与两条平行线投影直线的两交点坐标，求得摄像机的焦距、俯仰角参数，完成单摄像机的标定工作，最后根据针孔成像模型、相似三角型原理获得图像坐标系和世界坐标系之间坐标值的变换关系。

本发明的技术效果在于：本发明无需一个规则的矩形，亦无需一条斜率已知的直线，只需选择选择道路中已有的交通标线及特征点，就可完成单摄像机的标定。这些标定目标是很容易被找到且几何尺寸容易获知，这充分保证了交通监视环境下本发明所提出摄像机标定方法的针对性和通用性，解决了标定目标不易选取的难题，可应用于传统标定方法不可能应用的诸多交通监视、车辆自动驾驶等场合下的单目摄像机标定。

附图说明

图1为本发明世界坐标系和标定目标的关系示意图。

图2为本发明中标定目标在图像中投影示意图。

图3为本发明的地面世界坐标系和图像平面坐标系。

图4为本发明实施例所采用的交通监视场景图。

图5为本发明实施例从交通监视场景中选择标定目标的结构示意图。

具体实施方式

以下结合附图和实施例对本发明作进一步详细描述。

本发明的摄像机标定方法包括以下步骤：

1.标定目标的选取和相关坐标系的建立

在交通场景中选择标定目标即路面上间距已知的两条平行线以及其中一条平行线上的三个点。在实际路面上两条平行线分别被表示为a、b，预先测出a、b两线的间距为d_w。三个点分别表示A、B和C点，其中A点最靠近摄像机、C点离摄像机最远，预先测出AB两点间距离为Δd₁，AC两点间距离为Δd₂，并假设地面二维世界坐标系中A点坐标为(x₁，y₁)、B点坐标为(x₂，y₂)、C点坐标为(x₃，y₃)，如图1所示。本发明将标定目标在图像中所对应的投影直线分别表示为a’、b’，三个点对应的投影点分别为A’、B’和C’，坐标分别为(h₁，v₁)、(h₂，v₂)和(h₃，v₃)，如图2所示。

为了标定摄像机的焦距及俯视角，需要定义两个坐标系：图像二维平面坐标系(X_C-Y_C)和地面二维世界坐标系(X_W-Y_W)。图像坐标系的X_C轴水平指向右方，Y_C轴垂直指向上方，图像坐标系的原点在图像的左下角，如图2所示。根据针孔成像模型，CCD传感器的像平面坐标轴方向应该是图像坐标系的X_C-Y_C轴的翻转方向，CCD传感器的像平面原点在CCD传感阵列的左上角，如图3所示。地面二维世界坐标系的原点为透镜中心位置上垂直于摄像机光轴的直线与地面的交点，且该直线与摄像机光轴所在的平面垂直于地面。地面二维世界坐标系的Y_W轴为摄像机光轴所在的且垂直于地面的平面与地面的交线，Y_W轴正方向为沿路面指向前方；X_W轴为透镜中心位置垂直于摄像机光轴的平面与地面的交线，X_W轴正方向为水平指向右方。

2.标定输入数据初始化及中间变量计算

假设图像的尺寸为M*N像素，则图像的几何中心P’点的坐标(h₀，v₀)为

h₀＝(M-1)/2；   v₀＝(N-1)/2

在两条平行线的图像投影直线a’、b’上，选取10个点，用最小二乘法计算出投影直线a’、b’的斜率k₁、k₂及截距b₁、b₂。

计算中间变量t₁，λ，h₁₃，d₁₃值分别为

$t_1=\frac{\mathrm{\Δ}{d}_1\mathrm{\Δ}{d}_2(v_2-v_3)}{(v_1-v_2)\mathrm{\Δ}{d}_2-(v_1-v_3)\mathrm{\Δ}{d}_1}---\left(1\right)$

$\mathrm{\λ}=\tan \mathrm{\θ}\·f=\frac{(t_1+\mathrm{\Δ}{d}_1)(v_2-v_0)-t_1(v_1-v_0)}{\mathrm{\Δ}{d}_1}---\left(2\right)$

$h_{13}=\frac{\mathrm{\λ}-(v_3-v_0)}{\mathrm{\λ}-(v_1-v_0)}\·(h_1-h_0)+h_0---\left(3\right)$

$d_{13}=\frac{\mathrm{\λ}-(v_3-v_0)}{\mathrm{\λ}-(v_1-v_0)}---\left(4\right)$

式(1-4)中，Δd₁为AB两点间距离，Δd₂为AC两点间距离，v₁为A’点的纵坐标，v₂为B’点的纵坐标，v₃为C’点的纵坐标，h₁为A’点的横坐标，θ为摄像机的俯视角，f为摄像机的焦距，h₀为图像几何中心的横坐标，v₀为图像几何中心的纵坐标。

3.计算平行线在地面坐标系中的角度

在图像平面中，过A’(h₁，v₁)点作水平直线，与投影直线b’(斜率为k2，截距为b2)的交点为D’点，D’点坐标为(h₄，v₁)，则平行线在地面坐标系中的角度α有

$\sin 2\mathrm{\α}=\frac{2d_w(h_3-h_{13})}{d_{13}\mathrm{\Δ}{d}_2|h_1-h_4|}---\left(5\right)$

式(5)中 $h_4=\frac{v_1-b_2}{k_2},$ h₄是图像平面中D’点的横坐标，h₃为C’点的横坐标，Δd₂为AC两点间距离，d_w为路面平行线a、b的间距。

则

因此根据 $\sin \mathrm{\α}=\sqrt{\frac{1-\cos 2\mathrm{\α}}{2}},$ 即可以求出中间变量sinα的值。

4.摄像机参数标定

在求出平行线在地面坐标系中的角度α，并获得三个点的图像平面坐标及三点间距离这些参数之后，则可以确定路面A点的坐标(x₁，y₁)值，即：

y₁＝t₁·sin α $x_1=\frac{d_w}{\sin \mathrm{\α}}-\frac{h_1-h_0}{|h_1-h_4|}$

计算摄像机的俯视角θ

$\mathrm{\θ}=\arcsin \left[\frac{d_w\·\mathrm{\λ}}{{\sin }^2\mathrm{\α}\·|h_1-h_4|\·t_1}\right]---\left(7\right)$

式(7)中，d_w为路面平行线a、b的间距，h₄是图像平面D’点的横坐标，h₁为A’点的横坐标，Δd₂为AC两点间距离，t₁和λ是中间变量。

根据求得的俯视角θ和中间变量λ的值，计算摄像机的焦距f

$f=\frac{\mathrm{\λ}}{\tan \mathrm{\θ}}---\left(8\right)$

因此，依据图像中某像素点Q’的坐标(h_n，v_n)，可以换算出地面世界坐标系中相应点Q的坐标(x_n，y_n)，即

$y_n=t_1\sin \mathrm{\α}\frac{\mathrm{\λ}-(v_1-v_0)}{\mathrm{\λ}-(v_n-v_0)}---\left(9\right)$

$x_n=\frac{y_n}{t_1\sin \mathrm{\α}}\frac{d_w}{\sin \mathrm{\α}\·|h_1-h_4|}(h_n-h_0)---\left(10\right)$

式(9)和(10)中，t₁和λ是中间变量，α为路面平行线的角度，h₀为图像几何中心的横坐标，v₀为图像几何中心的纵坐标，h₁为图像平面A’点的横坐标，h₄是图像平面D’点的横坐标，d_w为路面平行线a、b的间距。

本发明的一个实施例采用了如图4所示的高速公路交通场景图像，并在此实际交通场景图像中选择了标定目标，如图5所示。选择图像中路面一条车行道边缘线和车行道分界虚线作为标定的两条平行线a’和b’，在车行道分界虚线中选取三个点A’、B’和C’点。它们在世界坐标系中实际分别对应a和b直线、A点、B点和C点，其中，a、b直线间距、A与B点间距以及A与C点的间距事先已测量出。

实验结果表明，标定参数的求取与标定目标中三个点选取的精度有较密切的关系，但是经过仔细选择这些点，可以得到较好的结果。如表1所列出的两点之间距离实际值与计算值的比较，说明本方法完全能够满足交通监视系统的精度要求，该实验在一定程度上证明了本发明所提出方法的有效性。

表1图像中两像素点在世界坐标系中的对应点之间距离实际值和标定之后的计算值

Claims (1)

1.一种基于路面共线三点及其平行线的单摄像机标定方法，包括以下步骤：

1)建立地面世界坐标系X_W-Y_W，其原点设定为透镜中心位置上垂直于摄像机光轴的直线与地面的交点，Y_W轴为摄像机光轴所在的且垂直于地面的平面与地面的交线，Y_W轴正方向为沿路面指向前方，X_W轴为透镜中心位置垂直于摄像机光轴的平面与地面的交线，X_W轴正方向为水平指向右方；

2)建立图像坐标系X_C-Y_C，其原点设定在图像的左下角(0，0)位置，X_C轴水平指向右方，Y_C轴垂直指向上方；

3)在路面中选取两条平行的交通标线，测量两平行线间的距离；在图像平面中，选取路面上每条平行直线在图像中对应投影线的10个像素点，用最小二乘法分别计算出两条直线在图像平面中的斜率与截距；在路面的两条平行线中，选取其中一条平行线上的三个点，并测量第一点与第二点间的距离以及第一点与第三点间的距离，在图像中，获得这三个点在图像平面中对应像素的坐标；

4)在图像平面的水平方向作一条水平直线，分别求出它与两条投影直线的交点坐标，根据这两个交点的图像平面坐标、两平行线间距离、三个点的图像平面坐标及三点间彼此的距离，计算平行线在地面坐标系中的角度；

5)根据平行线在地面世界坐标系中的角度、三个点的图像平面坐标及三点间距离、图像平面中水平直线与两条平行线投影直线的两交点坐标，求得摄像机的焦距、俯仰角参数，完成单摄像机的标定工作，最后根据针孔成像模型、相似三角型原理获得图像坐标系和地面世界坐标系之间坐标值的变换关系。

Images