CN104143192A - 一种车道偏离预警系统的标定方法及其装置 - Google Patents

Abstract

本发明涉及图像及视频处理领域，尤其涉及一种车道偏离预警系统的标定方法及其装置，包括：1)使用一个黑白相间的棋盘格标定板，根据安装相机的车型确定棋盘格标定板的放置位置；2)图片进行预处理，提取棋盘格标定板上黑白相间处的端点作为特征点排序储存；3)将棋盘标定板往后平移，再次读取棋盘格标定板上特征点坐标后储存；4)根据两次读取的特征点信息进行一对一的配对拟合出直线，计算直线的相交点为消失点；5)根据消失点属性，标定出相机参数，获取图像坐标与路面坐标的映射关系。本发明的有益效果在于：本发明标定所需的场地要求低，只需5～10米的空旷地；本发明方法标定操作简单，只需将标定板平移一次，即可实现自动标定。

Description

一种车道偏离预警系统的标定方法及其装置

技术领域

本发明涉及图像及视频处理领域，尤其涉及一种车道偏离预警系统的标定方法及其装置。

背景技术

车道偏离预警需要得到当前车道线到车轮的距离。因此，需要知道图像中车道线的坐标点在实际路面上的位置，才能得到相应的距离。所以，车道偏离预警的原理中涉及到二维图像点集到三维场景的转换，即相机标定。

目前，常见的相机标定方法可分为基于标定物法和基于道路场景法。基于标定物法就是利用尺寸已知的标定工具，通过标定工具上相应点的实际三维坐标信息与其在图像中投影位置之间的一一对应关系，建立起多元多次方程组以求解出两个坐标系之间的映射关系。其中，Tasi两步法和张正友标定法应用较为广泛；基于道路场景法是指不需要借助一些特殊的标定工具或利用场景中某些已知的三维信息，建立起像平面与实际坐标系的映射关系。其中，基于运动目标标定法和基于透视投影原理标定法应用较多。

但是，车道偏离预警系统需要同车厂的实际情况结合。在实际车厂里，给予标定操作的场地是十分有限，而且要移动车辆也是相当的麻烦。因此，相机安装好后，在画面中能看到的地面场景很少，而且地面上也没有明显的直线标记，故利用道路场景法进行标定会失效；若在地面上放置相应的标定物进行标定，会因为成像的问题，造成标定物不明显，而不能准确地获取角点信息，导致标定失败。

发明内容

本发明为克服上述的不足之处，目的在于提供一种车道偏离预警系统的标定方法及其装置，可以较准确地实现相机安装参数的标定，且能不受标定场地的限制。

本发明是通过以下技术方案达到上述目的：一种车道偏离预警系统的标定方法，包括：

1)使用一个黑白相间的棋盘格标定板，根据安装相机的车型及相机安装位置，确定棋盘格标定板的放置位置；

2)相机采集图片，对图片进行预处理，提取棋盘格标定板上黑白相间处的端点作为特征点，将读取到的特征点坐标进行从上往下从左往右的排序储存；

3)将棋盘格标定板往后平移，再次读取棋盘格标定板上特征点坐标后储存；

4)根据两次读取的特征点信息进行一对一的配对，根据配对结果拟合出直线，计算直线的相交点为消失点；

5)根据消失点属性，标定出相机参数，获取图像坐标与路面坐标的映射关系。

作为优选，所述棋盘格标定板为五行四列的黑白相间棋盘格标定板。

作为优选，所述棋盘格标定板的放置位置在于：在距离车头[0,0.5m]之间放置棋盘格标定板，要求棋盘格标定板与相机沿伸直线L的夹角在[0,0.5°]之间，棋盘格标定板面朝镜头方向；且当相机安装高度在2米以内，则将杆子的高度固定在[1m,1.2m]；当相机安装的高度在2米以上，则将杆子的高度固定在[1.5m,1.8m]。

作为优选，所述图片预处理包括：灰度化、高斯滤波以及直方图均衡化处理。

作为优选，所述步骤3)中，棋盘格标定板往后平移距离为2米。

作为优选，所述相机参数包括：相机相对于路面的俯仰角t、朝向角p、翻转角s、相机安装高度H，根据相机参数得到图像坐标与路面坐标的映射关系：

$X_w=\frac{l\×[u_s\×\cos \left(p\right)\×\sin \left(t\right)+v_s\×\sin \left(p\right)]}{v_s\×\cos \left(t\right)+f\×\sin \left(t\right)}$

$Y_w=\frac{l\×[-u_s\×\sin \left(p\right)\×\sin \left(t\right)+v_s\×\cos \left(p\right)]}{v_s\×\cos \left(t\right)+f\×\sin \left(t\right)}$

$\left\{\begin{array}{c}{u}_s=(u-u_0)\×\cos \left(s\right)+(v-v_0)\×\sin \left(s\right)\\ v_s=(u-u_0)\×\sin \left(s\right)-(v-v_0)\×\cos \left(s\right)\\ l=H/\sin \left(t\right)\end{array}\right..$

一种车道偏离预警系统的标定装置，包括：一个棋盘格标定板，一个金属杆子、相机；所述棋盘格标定板为5行4列的黑白相间的棋盘格标定板，该棋盘格标定板固定在金属杆子上，金属杆子可上下调节高度，棋盘格标定板面朝相机镜头方向。

本发明的有益效果在于：1、本发明标定所需的场地要求低，只需5～10米的空旷地即可完成各种车型的相机标定。2、本发明方法标定操作简单，只需将标定板平移一次，即可实现自动标定，不再需要人为的测量相机安装的高度。3、标定的精度高，得到的消失点坐标达到亚像素精度，有利于提高标定所求的各参数精度，而且，标定过程中实现了安装相机三维角度的标定，有利于提高图像坐标和路面坐标系的转换精度。4、本发明采用棋盘格标定板作为标定工具，通过平移棋盘格标定板确定各特征点的移动轨迹，通过特征点移动轨迹确定直线，由直线确定消失点位置坐标，方法简单，准确性高。

附图说明

图1是本发明的车道偏离预警系统标定方法的流程图；

图2是本发明的标定特征点读取的试样图；

图3是本发明的标定过程中特征点读取结果图，其中(a)是近距离特征点读取结果图，(b)是远距离特征点读取结果图；

图4是本发明的远近两标定板上各特征点一一配对形式图；

图5是本发明中求相机安装高度的剖面投影图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1：如图1所示，一种车道偏离预警系统的标定方法，包括以下步骤：

步骤1——标定工具的确定：

1.Step01:本标定工具用的是一张5行4列的黑白相间的，且每个格子为10cm×10cm的棋盘格标定板，一个用于固定棋盘格标定板的高度可调节的金属杆子以及相机。根据所安装相机的车型，规定车辆高度在2米以下的，则将杆子的高度固定在[1m,1.2m]处。若所安装的高度在2米以上的，则将杆子的高度固定在[1.5m,1.8m]处；

Step02:顺着所安装的相机方向，沿伸出一条直线L。在距离车头[0,0.5m]之间放置棋盘格标定板，要求放置的棋盘格标定板与直线L的夹角在[0,0.5°]之间，且棋盘格标定板面朝镜头方向。

步骤2——标定板特征点的读取：

Step01:对采集到的图片，进行灰度化、高斯滤波以及直方图均衡化处理，以降低图片的噪声，并增强棋盘格黑白两色的对比度。

Step02:分配内存nearPoint[4×3]，根据步骤1所放置的棋盘格标定板，如图2所示。先采用Harris检测算子，按顺序从A-B-C-D-E-F或者从F-E-D-C-B-A的方向，检测出棋盘格标定板上黑白相间的突变特征点坐标，再以该特征点为中心，在其9×9的邻域内进行迭代处理，使特征点的坐标精度达到0.1个像素点。再将所获取棋盘格标定板上的全部特征点坐标存入nearPoint[4×3]中，并根据第一个点的坐标位置nearPoint[0×0]和其下一个点nearPoint[0×1]，以及下一行的坐标点nearPoint[1×0]的关系，进而调整特征点的存储顺序。若特征点之间满足 $\left\{\begin{array}{c}\mathrm{nearPoint}[0\&times;0].y-\mathrm{nearPoint}[1\&times;0].y>0\\ \mathrm{nearPoint}[0\&times;0].x-\mathrm{nearPoint}[0\&times;1].x<0\end{array}\right.,$ 表明所得到的特征点坐标，已经按照A-B-C-D-E-F的顺序读取，不需要再做调整。反之，若特征点之间满足 $\left\{\begin{array}{c}\mathrm{nearPoint}[0\&times;0].y-\mathrm{nearPoint}[1\&times;0].y<0\\ \mathrm{nearPoint}[0\&times;0].x-\mathrm{nearPoint}[0\&times;1].x>0\end{array}\right.,$ 则以表明是以F-E-D-C-B-A顺序读取的，需统一调成以A-B-C-D-E-F的顺序保存；

Step03:分配内存farPoint[4×3]，将棋盘格标定板沿着直线L的方向平移2米后，再次按Step02的方法，提取棋盘格标定板上的特征点坐标存入farPoint[4×3]。整个标定过程中，所得到的结果如附图3中的(a)和(b)所示，(a)是近距离特征点读取结果图，(b)是远距离特征点读取结果图。

步骤3——消失点坐标的确定：

Step01:结合图4，将nearPoint[4×3]和farPoint[4×3]中的点进行一一配对，根据斜率k[i][j]＝(nearPoint[i×j].y-farPoint[i×j].y)/(nearPoint[i×j].x-farPoint[i×j].x)以确定相应直线kL[i][j]的表达式，计算出直线kL[0][0]与直线kL[0][1]、kL[0][1]……kL[3][2]的交点，再取各交点的平均值，确定消失点的坐标点vanishPoint。

步骤4——相机参数的确定：

Step01:根据内参标定的结果，确定相机在像平面中的焦距f、图像的主点坐标(u₀,v₀)；

Step02:根据摄像机的成像模型，推导出像平面坐标与路面坐标之间的转换矩阵R关于俯仰角t，朝向角p，翻转角s的表达式如下：

$R=\left[\begin{array}{ccc}\cos \left(p\right)\cos \left(s\right)+\sin \left(t\right)\sin \left(p\right)\sin \left(s\right)& -\sin \left(t\right)\cos \left(p\right)\sin \left(s\right)-\sin \left(p\right)\cos \left(s\right)& \cos \left(t\right)\sin \left(s\right)\\ \sin \left(t\right)\sin \left(p\right)\cos \left(s\right)+\cos \left(p\right)\sin \left(s\right)& \sin \left(p\right)\sin \left(s\right)+\sin \left(t\right)\cos \left(p\right)\cos \left(s\right)& -\cos \left(t\right)\cos \left(s\right)\\ -\cos \left(t\right)\sin \left(p\right)& \cos \left(t\right)\cos \left(p\right)& -\sin \left(t\right)\end{array}\right]---\left(1\right)$

根据消失点的属性：在空间坐标系下处于同一条摄像机光线上的点在像平面上的投影其坐标值都一样，即投影点的坐标变换与相机的安装距离无关系，只与安装的角度有关，表达式如下(式中(vpx.x,vpx.y)和(vpz.x,vpz.y)分别为X轴和Z轴方向上的消失点坐标)：

$R=\left[\begin{array}{ccc}\frac{\mathrm{vPx}.x}{\sqrt{\mathrm{vPx}.x^2+\mathrm{vPx}.y^2+f^2}}& \frac{\mathrm{vanishPoint}.x}{\sqrt{{x_{1u}}^2+{y_{1v}}^2+f^2}}& \frac{\mathrm{vPz}.x}{\sqrt{\mathrm{vPz}.x^2+\mathrm{vPz}.y^2+f^2}}\\ \frac{\mathrm{vPx}.y}{\sqrt{\mathrm{vPx}.x^2+\mathrm{vPx}.y^2+f^2}}& \frac{\mathrm{vanishPoint}.y}{\sqrt{{x_{1u}}^2+{y_{1v}}^2+f^2}}& \frac{\mathrm{vPz}.y}{\sqrt{\mathrm{vPz}.x^2+\mathrm{vPz}.y^2+f^2}}\\ \frac{-f}{\sqrt{\mathrm{vPx}.x^2+\mathrm{vPx}.y^2+f^2}}& \frac{-f}{\sqrt{\mathrm{vanishPoint}.x^2+\mathrm{vanishPoint}.y^2+f^2}}& \frac{-f}{\sqrt{\mathrm{vPz}.x^2+\mathrm{vPz}.y^2+f^2}}\end{array}\right]---\left(2\right)$

结合式(1)和式(2)，得到的方程组如下：

$\left\{\begin{array}{c}\frac{\mathrm{vanishPoint}.x}{\sqrt{\mathrm{vanishPoint}.x^2+\mathrm{vanishPoint}.y^2+f^2}}=-\sin \left(t\right)\cos \left(p\right)\sin \left(s\right)-\sin \left(p\right)\cos \left(s\right)\\ \frac{\mathrm{vanishPoint}.y}{\sqrt{\mathrm{vanishPoint}.x^2+\mathrm{vanishPoint}.y^2+f^2}}=\sin \left(p\right)\sin \left(s\right)+\sin \left(t\right)\cos \left(p\right)\cos \left(s\right)\\ \frac{-f}{\sqrt{\mathrm{vanishPoint}.x^2+\mathrm{vanishPoint}.y^2+f^2}}\cos \left(t\right)\cos \left(p\right)\end{array}\right.---\left(3\right)$

根据式(3)，便可以求解出俯仰角t，朝向角p，翻转角s这三个角度的值；

Step03:根据消失点的属性：路面坐标系中的两条平行线通过图像的透视投影所得到的消失点，而在相机坐标系里该消失点与光心的连线平行与路面坐标系里的两条平行线，结合棋盘格标定板移动的距离为2米，便可计算出相机安装的高度H。结合图5，其中fPoint是棋盘格标定板移动前的位置和sPoint是棋盘格标定板移动后的位置，即|fPointsPoint|＝2米。fIPoint和sIPoint分别是fPoint和sPoint在像平面上的投影位置。sCPoint是辅助点，为了保证线段fIPointsCPoint//fPointsPoint。通过相应的关系转换，得到所安装的相机高度的表达式如下：

$\begin{array}{c}\frac{|\mathrm{fIPointsCPoint}}{\left|\mathrm{OvanishPoint}\right|}=\frac{\left|\mathrm{fIPointsIPoint}\right|}{\left|\mathrm{VsIPoint}\right|}\\ \&DoubleRightArrow;\left|\mathrm{fIPointsCPoint}\right|=\frac{\left|\mathrm{fIPointsIPoint}\right|\&CenterDot;\left|\mathrm{OvanisPoint}\right|}{\left|\mathrm{VsIPoint}\right|}\\ \frac{\left|\mathrm{OfPoint}\right|}{\left|\mathrm{OfIPoint}\right|}=\frac{\left|\mathrm{fPointsPoint}\right|}{\left|\mathrm{fIPointsCPoint}\right|}\\ \&DoubleRightArrow;\left|\mathrm{OfPoint}\right|=\frac{\left|\mathrm{fPointsPoint}\right|\&CenterDot;\left|\mathrm{OfIPoint}\right|}{\left|\mathrm{fIPointsCPoint}\right|}=\frac{\left|\mathrm{fPointsPoint}\right|\&CenterDot;\left|\mathrm{OfIPoint}\right|}{\left|\mathrm{fIPoinsIPoin}{t}_1\right|{\&CenterDot;\left|\mathrm{OvanisPoint}\right|}_{}}\&CenterDot;\left|\mathrm{VsIPoint}\right|\end{array}---\left(4\right)$

Step04:将标定得到的数据，代入像平面和路面坐标系的转换公式中，可得到的转换公式，将图像坐标转换到路面坐标：

$X_w=\frac{l\&times;[u_s\&times;\cos \left(p\right)\&times;\sin \left(t\right)+v_s\&times;\sin \left(p\right)]}{v_s\&times;\cos \left(t\right)+f\&times;\sin \left(t\right)}$

$Y_w=\frac{l\&times;[-u_s\&times;\sin \left(p\right)\&times;\sin \left(t\right)+v_s\&times;\cos \left(p\right)]}{v_s\&times;\cos \left(t\right)+f\&times;\sin \left(t\right)}---\left(5\right)$

$\left\{\begin{array}{c}{u}_s=(u-u_0)\&times;\cos \left(s\right)+(v-v_0)\&times;\sin \left(s\right)\\ v_s=(u-u_0)\&times;\sin \left(s\right)-(v-v_0)\&times;\cos \left(s\right)\\ l=H/\sin \left(t\right)\end{array}\right.$

根据式(5)进行反变换，得到的将路面坐标转换到图像坐标的表达式如下：

$u_1=\frac{f\&times;(X_w\&times;\cos \left(p\right)-Y_w\&times;\sin \left(p\right))}{l+\cos \left(t\right)\&times;(\sin \left(p\right)\&times;X_w+\cos \left(p\right)\&times;Y_w)}$

$v_1=\frac{f\&times;\sin \left(t\right)\&times;(X_w\&times;\sin \left(p\right)+Y_w\&times;\cos \left(p\right))}{l+\cos \left(t\right)\&times;(\sin \left(p\right)\&times;X_w+\cos \left(p\right)\&times;Y_w)}---\left(6\right)$

$\left\{\begin{array}{c}u=u_1\&times;\cos \left(s\right)-v_1\&times;\sin \left(s\right)+u_0\\ v=u_1\&times;\sin \left(s\right)+v_1\&times;\cos \left(s\right)+v_0\\ l=H/\sin \left(t\right)\end{array}\right..$

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (7)

1.一种车道偏离预警系统的标定方法，其特征在于包括：

1)使用一个黑白相间的棋盘格标定板，根据安装相机的车型及相机安装位置，确定棋盘格标定板的放置位置；

2)相机采集图片，对图片进行预处理，提取棋盘格标定板上黑白相间处的端点作为特征点，将读取到的特征点坐标进行从上往下从左往右的排序储存；

3)将棋盘格标定板往后平移，再次读取棋盘格标定板上特征点坐标后储存；

4)根据两次读取的特征点信息进行一对一的配对，根据配对结果拟合出直线，计算直线的相交点为消失点；

5)根据消失点属性，标定出相机参数，获取图像坐标与路面坐标的映射关系。

2.根据权利要求1所述的一种车道偏离预警系统的标定方法，其特征在于，所述棋盘格标定板为五行四列的黑白相间棋盘格标定板。

3.根据权利要求1所述的一种车道偏离预警系统的标定方法，其特征在于，所述棋盘格标定板的放置位置在于：在距离车头[0,0.5m]之间放置棋盘格标定板，要求棋盘格标定板与相机沿伸直线L的夹角在[0,0.5°]之间，棋盘格标定板面朝镜头方向；且当相机安装高度在2米以内，则将杆子的高度固定在[1m,1.2m]；当相机安装的高度在2米以上，则将杆子的高度固定在[1.5m,1.8m]。

4.根据权利要求1所述的一种车道偏离预警系统的标定方法，其特征在于，所述图片预处理包括：灰度化、高斯滤波以及直方图均衡化处理。

5.根据权利要求1所述的一种车道偏离预警系统的标定方法，其特征在于，所述步骤3)中，棋盘格标定板往后平移距离为2米。

6.根据权利要求4所述的一种车道偏离预警系统的标定方法，其特征在于，所述相机参数包括：相机相对于路面的俯仰角t、朝向角p、翻转角s、相机安装高度H，根据相机参数得到图像坐标与路面坐标的映射关系：

$X_w=\frac{l\&times;[u_s\&times;\cos \left(p\right)\&times;\sin \left(t\right)+v_s\&times;\sin \left(p\right)]}{v_s\&times;\cos \left(t\right)+f\&times;\sin \left(t\right)}$

$Y_w=\frac{l\&times;[-u_s\&times;\sin \left(p\right)\&times;\sin \left(t\right)+v_s\&times;\cos \left(p\right)]}{v_s\&times;\cos \left(t\right)+f\&times;\sin \left(t\right)}$

$\left\{\begin{array}{c}{u}_s=(u-u_0)\&times;\cos \left(s\right)+(v-v_0)\&times;\sin \left(s\right)\\ v_s=(u-u_0)\&times;\sin \left(s\right)-(v-v_0)\&times;\cos \left(s\right)\\ l=H/\sin \left(t\right)\end{array}\right..$

7.一种车道偏离预警系统的标定装置，其特征在于包括：一个棋盘格标定板，一个金属杆子、相机；所述棋盘格标定板为5行4列的黑白相间的棋盘格标定板，该棋盘格标定板固定在金属杆子上，金属杆子可上下调节高度，棋盘格标定板面朝相机镜头方向。