CN103593671A - 基于三摄像机协同的大范围车道线视觉检测方法 - Google Patents

Abstract

本发明涉及一种基于三摄像机协同的大范围车道线视觉检测方法，属于机器视觉和自动驾驶技术领域。对三个摄像机采集的图像使用霍夫直线检测的方法检测所有直线，霍夫直线检测方法从整个搜索区域的角度搜索所有可能是直线的点集，因此遗漏车道线的情况较少，对于地面杂物干扰和车道线部分被遮挡的情况处理效果较好。因为霍夫变换算法运算量较大，为了提高效率，先对图像进行初步处理，对得到的感兴趣区域的边沿图像进行霍夫直线检测，大大减小了霍夫检测的计算量，同时也减少了干扰。

Description

基于三摄像机协同的大范围车道线视觉检测方法

技术领域

本发明属于机器视觉和自动驾驶技术领域，具体涉及一种基于三摄像机协同的大范围车道线视觉检测方法。

背景技术

本随着汽车数量的日渐增多，交通问题日益严重，对于汽车的智能自主性、行驶安全性以及辅助驾驶技术的研究成为当前的热点，而对于车道线的稳定检测和跟踪是实现汽车自动驾驶或者安全辅助驾驶的基础和关键。视觉检测较其他传感器检测方法具有使用灵活、分辨率高等特点，是车道线检测的理想方式。

当前的视觉车道线检测方法多采用基于边缘检测的识别法、车道线模型匹配法、最小二乘拟合法，这些方法对于连续且干扰较少的情况较为适合，而对于具有斑马线、地面转向标志以及阴影等其他多种干扰的实际交通道路而言往往不易于实际应用。而基于霍夫直线检测方法具有较强的抗干扰能力和很高的识别准确率，适于进行车道线检测。而使用霍夫直线检测方法识别车道线的系统往往只使用一个摄像机检测车道线，检测范围有限，当出现不正常转向、颠簸等情况很容易因视野丢失车道线而产生误识别，并不能充分发挥霍夫直线检测方法的优势。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何设计一种基于三摄像机协同的大范围车道线视觉检测方法，提高视觉检测车道线的准确率和可靠性。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于三摄像机协同的大范围车道线视觉检测方法，包括以下步骤：

S1、将第一、第二和第三摄像机的分辨率分别降为640×480、320×240、320×240，其中，第一摄像机设置在车辆挡风玻璃上部，第二摄像机位于所述第一摄像机的右侧，第三摄像机位于所述第一摄像机的左侧，且第二摄像机和第三摄像机的安装位置低于第一摄像机的安装位置；

S2、利用第一、第二和第三摄像机分别采集车道线图像；

S3、设定第一摄像机采集的图像的下三分之二作为感兴趣区域，用于进行车道线检测；

S4、将所述感兴趣区域，以及第二和第三摄像机采集的车道线图像进行预处理；

S5、对步骤S4处理后的图像进行霍夫变换，将检测到的直线以极坐标形式保存；

S6、遍历对第一摄像机采集的图像进行处理所得到的所有直线，并转化为直角坐标形式，根据第一摄像机的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，根据第一摄像机采集的图像中车道线的特征确定车辆到左车道线的偏离距离和车辆到右车道线的偏离距离；同时，遍历对第二、第三摄像机采集的图像进行处理所得到的所有直线，并分别转化为直角坐标形式，分别根据对应的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，再分别根据第二和三摄像机采集的图像中车道线的特征确定：第二摄像机采集的图像中左车道线到车辆的偏离距离，以及第三摄像机采集的图像中右车道线到车辆的偏离距离；将所得到的所有车辆到右车道线的偏离距离值分别折合为车辆到左车道线的偏离距离，再取所得到的所有车辆到左车道线的偏离距离的平均值作为最终的结果。

优选地，步骤S4具体包括：

S41、将采集的RGB图像转化为灰度图像；

S42、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪；

S43、对去噪后的二值化图像进行canny边沿检测，得到边沿图像。

优选地，步骤S6中，所述映射矩阵通过以下的摄像机标定过程得到：

A1、对待标定摄像机采集棋盘格图像，所述棋盘格图像为7×5的棋盘格图像；

A2、将RGB格式的所述棋盘格图像转化为灰度图像；

A3、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪；

A4、检测棋盘格图像中的内角点；

A5、利用所述内角点得出所述映射矩阵，得出映射矩阵的过程在世界坐标系的X-Y平面进行。

优选地，利用一个工控机的三个线程分别执行步骤S1～S6中对第一、第二和第三摄像机的图像的相关处理。

(三)有益效果

本发明对三个摄像机采集的图像使用霍夫直线检测的方法检测所有直线，霍夫直线检测方法从整个搜索区域的角度搜索所有可能是直线的点集，因此遗漏车道线的情况较少，对于地面杂物干扰和车道线部分被遮挡的情况处理效果较好。因为霍夫变换算法运算量较大，为了提高效率，先对图像进行初步处理，对得到的感兴趣区域的边沿图像进行霍夫直线检测，大大减小了霍夫检测的计算量，同时也减少了干扰。

附图说明

图1为本发明的检测方法流程图；

图2为摄像机检测范围示意图；

图3为标定过程流程图；

图4为标定初始参数示意图；

图5为第一摄像机标定效果图，(a)为映射前的图像，(b)为映射后的图像；

图6为第二摄像机标定效果图，(a)为映射前的图像，(b)为映射后的图像；

图7为坐标转换图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

如图1所示，本发明提供了一种基于三摄像机协同的大范围车道线视觉检测方法，可大大提高视觉检测车道线的准确率和可靠性，该方法具有较好的抗干扰性和实时性，在车辆非正常行驶时仍能较好的识别跟踪车道线，可以广泛应用于车辆的自动驾驶系统和辅助驾驶系统中。该方法包括以下步骤：

S1、因为只对简单的车道线进行识别，将第一、第二和第三摄像机的分辨率分别降为640×480、320×240、320×240，其中，为了增大检测范围，提高车道线检测的可靠性，本发明在车辆前部安装三个摄像机检测车道线，如图2所示。左侧的第三摄像机检测右侧车道线，右侧的第二摄像机检测左侧车道线，左右车道线的检测摄像机交叉安装，当车辆在车道中偏左、偏右行驶或过度转向时仍可以保证车道线在两侧摄像机视野范围内，从而人也能够稳定识别出左、右车道线；两侧摄像机安装在较低的位置，以减少视野内的杂物干扰，并提高车道线的清晰度；中间的第一摄像机安装在前挡风玻璃上部，对前方双车道线进行检测，该摄像机具有较大的视野范围，可以保证汽车对于车道线的变化具有较好的前瞻性；

S2、利用第一、第二和第三摄像机分别采集车道线图像；

S3、第一号摄像机视野范围较大，图像的上三分之一几乎没有有效车道线，故设定第一摄像机采集的图像的下三分之二作为感兴趣区域，用于进行车道线检测；

S4、将所述感兴趣区域，以及第二和第三摄像机采集的车道线图像进行预处理；步骤S4具体包括：

S41、将采集的RGB图像转化为灰度图像；

S42、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪，减少干扰；

S43、对去噪后的二值化图像进行canny边沿检测，进一步减少前景点数量，减少干扰线，得到边沿图像。

S5、对步骤S4处理后的图像进行霍夫变换，将检测到的直线以极坐标形式保存；步骤S1、S3、S4进行的处理可以减小步骤S5中霍夫变换的计算量，提高实时性和可靠性，通过步骤S5霍夫变换得到图像中所有直线的极坐标方程后，即可对车道线进行检测判别。

S6、遍历对第一摄像机采集的图像进行处理所得到的所有直线，并转化为直角坐标形式，根据第一摄像机的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，根据第一摄像机采集的图像中车道线的特征确定车辆到左车道线的偏离距离a1和车辆到右车道线的偏离距离b1(S6.1)；同时，遍历对第二、第三摄像机采集的图像进行处理所得到的所有直线，并分别转化为直角坐标形式，分别根据对应的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，再分别根据第二和三摄像机采集的图像中车道线的特征确定：第二摄像机采集的图像中左车道线到车辆的偏离距离a2，以及第三摄像机采集的图像中右车道线到车辆的偏离距离b2(S6.2)；将所得到的车辆到右车道线的偏离距离折合为车辆到左车道线的偏离距离(两侧车道线间距减去b1或b2)，再取所有车辆到左车道线的偏离距离的平均值。

如图3所示，步骤S6中，所述映射矩阵通过以下的摄像机标定过程得到：

A1、对待标定摄像机采集棋盘格图像，所述棋盘格图像为7×5的棋盘格图像；

A2、将RGB格式的所述棋盘格图像转化为灰度图像；

A3、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪；

A4、检测棋盘格图像中的内角点；

A5、利用所述内角点得出所述映射矩阵，得出映射矩阵的过程在世界坐标系的X-Y平面进行。

因为实际仅仅是对地面车道线的检测，因此对常规的摄像机标定方法进行了简化，推导出了简化的标定矩阵的计算公式。本发明提出的标定程序对摄像机的水平畸变和垂直畸变进行了很好的纠正，并且易于操作。因为车道线是比较简单的二维图像，镜头畸变对车道线检测影响很小，可以忽略，故本发明只进行了水平x方向和垂直y方向的变换，标定过程较为简便。以下是步骤A5的得出所述映射矩阵的过程：

设[X Y Z]是一个点的世界坐标，单位毫米；[x y]是点投影在图像平面的坐标，以像素为单位。若有以下定义：

$\tilde{Q}={\left[\begin{array}{cccc}X& Y& Z& 1\end{array}\right]}^T,$

$\tilde{q}={\left[\begin{array}{ccc}x& y& 1\end{array}\right]}^T$

则两个坐标系关系可表示为：

$\tilde{q}=\mathrm{sH}\tilde{Q}$

其中，s为变换的比例因子。如果因为某些因素对来自于摄像机的一幅图像升采样或者降采样，所有这些参数都将被缩放(乘或者除)同样的尺度。H为3×3矩阵，是要求解的映射矩阵。H分为两部分，摄像机内参矩阵：

$M=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$

其中，c_x，c_y是基准点；以及摄像机外参数矩阵：

$W=\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right].$

其中，f_x，f_y是以像素为单位的焦距。W是与观测到的图像平面相关的旋转R和平移t的影响之和。因此映射关系又可表示为：

$\tilde{q}=\mathrm{sMW}\tilde{Q}=s\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]\tilde{Q}$

因为关注的点不是表征所有空间的坐标

而只是定义所寻找的平面的坐标因此公式还需要简化。可以选择定义[X Y]平面，使得Z=0，即

$\tilde{Q}=\left[\begin{array}{ccc}X& Y& 1\end{array}\right]$

那么旋转矩阵中的一个分量也就不再需要了，即R=[r₁ r₂]。此时，公式可以写成：

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\mathrm{sM}\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ O\\ 1\end{array}\right]=\mathrm{sM}\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right].$

则映射目标点到成像仪的映射矩阵为

H=M[r₁ r₂ t]

投影映射公式为：

$\tilde{q}=\mathrm{sH}\tilde{Q}$

只要给定足够图像坐标系的点以及其对应的世界坐标系的点，即可将图像坐标系的点

映射到世界坐标系的点

本发明使用了7×5的棋盘格图像，可提供6×4个内角点进行计算，尽可能减少噪声等因素造成的干扰。按照存储结构，图像左上角第一个角点为起始角点，只要测出该点的世界坐标(X，Y)，根据角点间距d即可依次计算出其他23个内角点的世界坐标。三个摄像机均以第一摄像机的镜头中心为世界坐标系原点，则映射后的距离可以统一化处理。如图4所示，以第一摄像机为例，实际需要测量第一个角点到第一摄像机垂直中心线的距离X₀，该点到摄像机镜头所在水平线的距离Y₀，以及每个棋盘格的边长d₀。将测量的初始参数(-X₀，Y₀)以及d₀输入标定程序，程序会算出其他23个角点的世界坐标，并计算映射矩阵H。如图5、图6所示，使用标定矩阵H映射后，第一摄像机和第二摄像机的水平和垂直畸变都得到了很好的校正。

步骤S6中计算车辆到左(或右)车道线距离的过程如下：

如图7所示，根据直线极坐标方程可得：

$\left\{\begin{array}{c}{x}_0=\mathrm{rhog}\cos \left(\mathrm{theta}\right)\\ y_0=\mathrm{rhog}\sin \left(\mathrm{theta}\right)\end{array}\right.$

在此直线上距离pt₀(x₀，y₀)下1000(像素)处取点

pt₁(x₀+1000gsin(theta)，y₀-1000gcos(theta))

则

$k=\frac{y_1-y_0}{x_1-x_0},b=-k{x}_0+y_0.$

由于将pt₀，pt₁映射到世界坐标系可得到pt₀’(x₀’，y₀’)，pt₁’(x₁’，y₁’)，此时的直线参数为

$k^{\′}=\frac{{y_1}^{\′}-{y_0}^{\′}}{{x_1}^{\′}-{x_0}^{\′}},b^{\′}=-k{{x_0}^{\′}+y_0}^{\′}$

根据点到直线距离公式，车到车道线y=kx+b距离为：

$\mathrm{dis}\tan \mathrm{ce}=\frac{|-b^{\′}|}{\sqrt{1+k^{\′2}}}$

根据以下特征识别车道线：

第二摄像机图像中车道线的特征有三个：

(1)distance值为所有直线中最小的；

(2)映射到世界坐标系后车道线斜率绝对值|k’|>30；

(3)映射之前车道线在图像坐标系的斜率k<0。

对于第三摄像机，根据车道线的以下特征确定车道线与车辆的偏离距离：

(1)distance值为最小；

(2)映射到世界坐标系后车道线斜率绝对值|k’|>30；

(3)映射之前车道线在图像坐标系的斜率k>0。

以最小的distance作为车道线与车辆的偏离距离，算出的偏离距离应折合到车辆与左侧车道线的距离，以便减少参数，统一计算。

对于第一摄像机，先使用第二摄像机的上述特征判断方法确定左侧车道线，再使用第三摄像机的上述特征判断方法确定右侧车道线。若只有单侧车道线，使用单侧距离作为偏离距离；若有双侧车道线，先都折合到左侧偏离距离，再取平均后作为最终距离。

对于三个摄像机得到的偏离距离数据还要进行综合判定，若有两个或多于两个摄像机产生有效数据，则应取有效偏离值的平均值作为最终距离，以最大限度减小干扰和误差。如果只有一个摄像机检测到有效数据时，仍能保证系统的稳定可靠工作。

在步骤S6之后，还可根据最终偏离距离(与右车道线的距离)计算出伺服器的控制量控制车辆跟踪车道线，公式如下：

$\mathrm{servo}=\frac{(\mathrm{dis}\tan \mathrm{ce}-\mathrm{dis}\tan \mathrm{ce}\_\min )}{(\mathrm{dis}\tan \mathrm{ce}\_\max -\mathrm{dis}\tan \mathrm{ce}\_\min )}g(\mathrm{servo}\_\max -\mathrm{servo}\_\min )+\mathrm{servo}\_\min$

servo_max、servo_min为车辆转向机构的伺服器控制量的上下限，而distance_max和distance_min为正常情况下车辆偏离距离的上下限。

对三个摄像机采集的图像使用霍夫直线检测的方法检测所有直线，霍夫直线检测方法从整个搜索区域的角度搜索所有可能是直线的点集，因此遗漏车道线的情况较少，对于地面杂物干扰和车道线部分被遮挡的情况处理效果较好。因为霍夫变换算法运算量较大，为了提高效率，先对图像进行初步处理，对得到的感兴趣区域的边沿图像进行霍夫直线检测，大大减小了霍夫检测的计算量，同时也减少了干扰。根据搜到的直线位置、斜率进行实际车道线提取，可以较好的提取出车道线。多于一个摄像机检测到有效车道线时，取多组参数的均值。对于特殊情况，如斑马线，可根据其特征综合三个摄像机的信息进行判定。

三个摄像机采集的图像传送到同一个工控机中，通过三个检测线程分别对三个图像中的车道线进行识别检测，互不干扰，使用一个控制线程对三个摄像机的信息进行综合分析处理，得出车辆当前与车道线的偏离距离，通过该距离计算出最终控制执行机构动作的信号。因为只要有一个摄像机检测到有效的车道线即可得出偏离距离，因此在普通情况下，三个摄像机即使只有一个工作时仍可以保证车辆稳定的跟踪车道线，具有较高的可靠性。

可以看出，1、本发明使用三个摄像机进行车道线检测，提高了检测范围，车辆转角较大时仍能较好的检测。两侧摄像机安装位置偏低，并且分别只检测一侧的车道线，增加了车道线清晰度，减少了外部干扰，进一步提高了车道线识别的成功率。

2、三个摄像机采集的图像单独处理，互不影响，在其中一个或两个摄像机无法有效识别车道线的情况下系统仍能根据一到两个摄像机的有效数据计算出偏离车道线的距离，因此该方法具有很高的可靠性。

3、提出了一种简化的标定方法，易于操作，适用于只需要对图像横向和纵向畸变校正的系统。

4、各个摄像机采集的图像都使用霍夫直线检测的方法识别车道线，标定映射后通过斜率、与车辆距离等参数提取车道线，在车道线被部分遮挡、地面杂物较多的情况下仍能准确识别出车道线。

5、对原始图像进行了多种处理，大大较少了霍夫变换的计算量，使系统具有较好的实时性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于三摄像机协同的大范围车道线视觉检测方法，其特征在于，包括以下步骤：

S1、将第一、第二和第三摄像机的分辨率分别降为640×480、320×240、320×240，其中，第一摄像机设置在车辆挡风玻璃上部，第二摄像机位于所述第一摄像机的右侧，第三摄像机位于所述第一摄像机的左侧，且第二摄像机和第三摄像机的安装位置低于第一摄像机的安装位置；

S2、利用第一、第二和第三摄像机分别采集车道线图像；

S3、设定第一摄像机采集的图像的下三分之二作为感兴趣区域，用于进行车道线检测；

S4、将所述感兴趣区域，以及第二和第三摄像机采集的车道线图像进行预处理；

S5、对步骤S4处理后的图像进行霍夫变换，将检测到的直线以极坐标形式保存；

S6、遍历对第一摄像机采集的图像进行处理所得到的所有直线，并转化为直角坐标形式，根据第一摄像机的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，根据第一摄像机采集的图像中车道线的特征确定车辆到左车道线的偏离距离和车辆到右车道线的偏离距离；同时，遍历对第二、第三摄像机采集的图像进行处理所得到的所有直线，并分别转化为直角坐标形式，分别根据对应的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，再分别根据第二和三摄像机采集的图像中车道线的特征确定：第二摄像机采集的图像中左车道线到车辆的偏离距离，以及第三摄像机采集的图像中右车道线到车辆的偏离距离；将所得到的所有车辆到右车道线的偏离距离值分别折合为车辆到左车道线的偏离距离，再取所得到的所有车辆到左车道线的偏离距离的平均值作为最终的结果。

2.如权利要求1所述的方法，其特征在于，步骤S4具体包括：

S41、将采集的RGB图像转化为灰度图像；

S42、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪；

S43、对去噪后的二值化图像进行canny边沿检测，得到边沿图像。

3.如权利要求1所述的方法，其特征在于，步骤S6中，所述映射矩阵通过以下的摄像机标定过程得到：

A1、对待标定摄像机采集棋盘格图像，所述棋盘格图像为7×5的棋盘格图像；

A2、将RGB格式的所述棋盘格图像转化为灰度图像；

A3、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪；

A4、检测棋盘格图像中的内角点；

A5、利用所述内角点得出所述映射矩阵，得出映射矩阵的过程在世界坐标系的X-Y平面进行。

4.如权利要求1或2或3所述的方法，其特征在于，利用一个工控机的三个线程分别执行步骤S1～S6中对第一、第二和第三摄像机的图像的相关处理。

Images