CN105740832A - 一种应用于智能驾驶的停止线检测与测距算法 - Google Patents

Abstract

本发明涉及一种应用于智能驾驶的停止线检测与测距算法，对目标区域进行摄像机镜头标定；采集路面灰度图片，提取感兴趣区域；对提取出来的感兴趣区域进行预处理得到二值图；判断图像中是否存在斑马线，如果存在，则根据斑马线与停止线之间的关系检测停止线，完成停止线检测；否则检测图像中是否存在路面标识符；如果存在路面标识符，则根据路面标识符与停止线之间的关系检测停止线，完成停止线检测；如果检测到停止线，则根据透视图像计算车与停止线之间的距离。本发明通过统计连通域信息，利用斑马线、路面标识符等辅助信息共同完成停止线的有无判断，记录停止线在图像中所在的位置，结合透视变换与标定，计算出停止线距离汽车的实际物理位置。

Description

一种应用于智能驾驶的停止线检测与测距算法

技术领域

本发明涉及智能驾驶领域，具体地说是一种应用于智能驾驶的停止线检测与测距方法。

背景技术

随着社会与科学技术的发展，汽车在人们的日常生活中扮演着越来越重要的角色。汽车给人们生活带来便利的同时，也为人们的安全带来了巨大的隐患，尤其是在道路交通路口，这种隐患尤为严重。自动驾驶技术与无人驾驶的发展，为解决这个隐患带来了福音。

目前自动驾驶与无人驾驶中，常采用以霍夫变换为主体的停止线检测技术。该技术是在采集到的灰度图像中，用预处理技术、图像边缘化技术、霍夫变换技术来检测图像中的“直线”，并通过直线的角度等先验性知识来判断是否存在停止线。因霍夫变换算法非常耗时，导致算法整体耗时偏高，不能满足现在车载实时性系统的需求。

现在停止线检测算法之中，只能检测停止线的有无，而不能给出停止线在图像中的具体位置，更不能给出车辆距离停止线的距离，只能给出一个相对距离的预警。

发明内容

针对现有技术的不足，本发明提供一种应用于智能驾驶的停止线检测与测距算法，通过统计连通域信息，并利用斑马线、路面标识符等辅助信息共同完成停止线的有无判断，并记录停止线在图像中所在的位置。结合透视变换与标定，计算出停止线距离汽车的实际物理位置。

本发明为实现上述目的所采用的技术方案是：

一种应用于智能驾驶的停止线检测与测距算法，其特征在于：包括以下步骤：

步骤1：对目标区域进行摄像机镜头标定；

步骤2：采集路面灰度图片，提取感兴趣区域；

步骤3：对提取出来的感兴趣区域进行预处理得到二值图；

步骤4：判断图像中是否存在斑马线，如果存在，则根据斑马线与停止线之间的关系检测停止线，完成停止线检测；否则检测图像中是否存在路面标识符；

步骤5：如果存在路面标识符，则根据路面标识符与停止线之间的关系检测停止线，完成停止线检测；

步骤6：如果检测到停止线，则根据透视图像计算车与停止线之间的距离，程序结束，否则，程序结束。

所述提取感兴趣区域的过程为，一个车道内的梯形的区域，通过行近邻差值法，将该梯形区域转化为矩形区域，即为感兴趣区域。

所述行近邻差值法为：将任意长度的行，通过近邻差值，拉伸为指定宽度的行。

所述预处理过程为：对感兴趣区域图像进行大尺度均值滤波处理，得到目标图像，然后对目标图像进行二值化处理，得到二值图。

所述判断图像中是否存在斑马线包括以下过程：

步骤1：提取图像第一行灰度信息作为检测斑马线的特征向量；

步骤2：将检测斑马线的特征向量输入adboost神经网络中，判断该特征向量是否为斑马线，如果是，则图像中存在斑马线，判断结束，否则执行步骤3；

步骤3：判断当前行是否为图像最后一行，如果是，则提取下一行灰度信息，作为检测斑马线的特征向量，执行步骤2，否则图像中不存在斑马线，判断结束。

所述根据斑马线与停止线之间的关系检测停止线包括以下过程：

步骤1：将当前行灰度值进行累加，得到当前行的累加和，记为Sum_Zebra；

步骤2：对图像进行行累加，得到累加和数组；

步骤3：在累加和数组中找到小于0.8*Sum_Zebra的行，记为R1；

步骤4：从R1行开始，在累加和数组中找到大于1.4*Sum_Zebra的行；

步骤5：如果找到，则该行为停止线所在行，完成检测过程；

步骤6：否则对图像进行标记连通，并统计连通域信息；

步骤7：如果存在连通域宽度大于图像宽度的2/3，则连通域起始行为停止线所在行，完成检测过程；否则不存在停止线，完成检测过程。

所述根据路面标识符与停止线之间的关系检测停止线包括以下过程：

步骤1：提取路面标识符特征向量；

步骤2：将检测路面标识符的特征向量输入adboost神经网络中，判断该特征向量是否为路面标识符，如果是，则图像中存在路面标识符，执行步骤3，否则不存在路面标识符，完成停止线检测过程；

步骤3：截取图像第一行到标识符起始行之间的部分图像，对部分图像进行标记连通，并统计连通域信息；

步骤4：如果存在连通域宽度大于图像宽度的2/3，则连通域起始行为停止线所在行，完成检测过程；否则不存在停止线，完成检测过程。

所述对目标区域进行摄像机镜头标定包括以下过程：

步骤1：在车正前方设置棋盘格，使车前端与棋盘格边缘相接；

步骤2：检测图像棋盘格中标记点的位置坐标；

步骤3：根据标记点的位置坐标，采用透视变换算法，得到透视图像。

所述标记点为构成矩形的四个点。

本发明具有以下有益效果及优点：

1.利用停止线对列方向不敏感，可以对感兴趣区域进行大尺度列抽样，进而减小处理图像的大小，保证所述方法能够满足系统实时性的需求。速度是普通霍夫变换算法的5-10倍。

2.停止线的检测，辅助以斑马线与路面路面标识符。提高了停止线检测的准确性，排除了路面复杂路况对算法的干扰，增强了程序的鲁棒性。

3.通过前期透视变换标定，与检出的停止线在图像中所在行，可以准确给出停止线实际物理位置，可以实现图像测距。

附图说明

图1是本发明的方法流程图；

图2是本发明的标定流程图；

图3是本发明的停止线检测示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明的流程图如图1所示。本发明检测实现可以分成三个部分。第一部分，判断是否有斑马线和路面标识符。第二部分如果有斑马线，则联合斑马线判断是否有停止线。第三部分，如果有路面标识符，联合路面标识符判断是否有停止线。

第一部分，判断是否有斑马线和路面路面标识符。首先在采集到灰度图像中，选择感兴趣区域，即停止线可能出现的位置。为了联合斑马线一起判断停止线的有无，本发明选择一个梯形区域作为感兴趣区域。在实际处理的过程中，将梯形区域通过线性变化拉伸为矩形区域，采用线性差值的方法，至此提取感兴趣区域部分完成。接下来对图像进行预处理，主要操作为对图像进行直方图统计去噪点处理，目的是干掉图像的较亮的部分和较暗的部分，排除复杂路面对算法的影响。

本发明用Adboost算法判断斑马线的有无。Adboost算法分为训练和测试两个部分。预处理之后的图像，每一行可以当做一个Adboost样本。通过大样本的训练得到Adboost网络参数。在测试阶段，每提取一行形成特征向量，将特征向量给Adboost网络，得到该特征是否是斑马线。

如果是斑马线，则第一部分结束，将当前行记录下来，斑马线存在标志置为1。如果不是斑马线则提取路面标识符特征，判断是否为路面标识符。不是路面标识符则程序结束，图像中没有停止线，因为停止线一定是和路面标识符或者斑马线成对出现的，如果存在路面标识符，则第一部分结束，路面标识符标志位记为1，并记录路面标识符在图像中的起始行。

当斑马线标志位为1时，启动算法的第二部分。第二部分主要解决的问题是，当存在斑马线时，如何检测是否存在停止线。首先对图像进行行累加，得到累加和数组，从斑马线所在的行开始，寻找比斑马线所在行像素值和小很多的行，一般取斑马线所在行累加和的一半。该行为斑马线与停止线之间的空白部分。从空白部分开始，找累加和比斑马线所在行大很多的行，一般取斑马线所在行的1.7倍。因停止线在灰度图像中表现为全白，而斑马线为黑白相间，停止线所在的行的灰度值和一般在斑马线所在行累加和的1.7倍以上。如果找到，则可以确定停止线在图像中的位置，程序结束，记录停止线在图像中的位置。如果没有找到符合条件的行，则通过统计标记连通信息，找是否存在一个连通域，他的宽度大于图像宽的的三分之二。如果存在，则可以确定停止线在图像中的位置，程序结束，记录停止线在图像中的位置为该连通区域的起始行。如果不存在，则该图像中不存在停止线，程序结束。

当标识符标志位为1时，启动算法的第三部分。第三部分主要解决的问题是，当存在路面标示且没有斑马线时，如何检测是否存在停止线。首先通过统计图像的标记连通信息，找是否存在一个连通域，他的宽度大于图像宽的的三分之二。如果存在，则可以确定停止线在图像中的位置，程序结束，记录停止线在图像中的位置为该连通区域的起始行。如果不存在，则该图像中不存在停止线，程序结束。

到此，停止线的检测部分完成。

本发明标定流程如图2所示。本发明采用特征点检测、透视变换的测距方法。首先在摄像头采集的图片中，检测图像中的特征点。特征点的检测方法为对图像中所有的点进行遍历，查看该点方形区域内图像的原点对称性，找到对称性最强的四个点，即为图片的特征点。检测到特征点之后利用透视变换手段，将平视图变为俯视图，用于测距。

测距标定的具体步骤如下：

车辆未启动时，先在车辆正前方铺好棋盘格，在棋盘格上选择如上方法选定的特征点。开启摄像头，定义采集图像即原始图像坐标系为左上角为原点，水平向右为x正方向，垂直向下为y正方向。根据标定的四个点在采集的图像上的坐标(x_i,y_i),i＝1,...4，定义透视图像坐标系，以棋盘格左上角为原点，水平向右为x正方向，垂直向下为y正方向，每个棋盘格表示一固定长度。根据标定的四个点的位置确定透视后四个点的坐标(x_i',y_i'),i＝1,...4。

根据下列方程求解透视系数m₁,…,m₈：

$\left[\begin{array}{c}{x}_1^{\′}\\ y_1^{\′}\\ .\\ .\\ .\\ x_n^{\′}\\ y_n^{\′}\end{array}\right]=\left[\begin{array}{cccccccc}{x}_1& y_1& 1& 0& 0& 0& -x_1^{\′}{x}_1& -x_1^{\′}{y}_1\\ 0& 0& 0& x_1& y_1& 1& -y_1^{\′}{x}_1& -y_1^{\′}{y}_1\\ & & & & & .& & \\ & & & & & .& & \\ & & & & & .& & \\ x_n& y_n& 1& 0& 0& 0& -x_n^{\′}{x}_n& -x_n^{\′}{y}_n\\ 0& 0& 0& x_n& y_n& 1& -y_n^{\′}{x}_n& -y_n^{\′}{y}_n\end{array}\right]\left[\begin{array}{c}{m}_1\\ m_2\\ m_3\\ m_4\\ m_5\\ m_6\\ m_7\\ m_8\end{array}\right]$

其中m₁,…,m₈为待求的系数，(x_i,y_i)为原始图像对应坐标，(x_i',y_i')为透视图像对应坐标,i＝1、…、n，n＝4。

将整个区域按照该透视进行变换，即

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]=\left[\begin{array}{ccc}{m}_1& m_2& m_3\\ m_4& m_5& m_6\\ m_7& m_8& m_9\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

其中，x’,y’,z’为透视后坐标，x,y,1为原始坐标,m₁,…,m₈为刚刚求得的系数。

本发明的检测结果示意图如图3所示。通过检测部分得到停止线在图像中所在的行位置，利用前期的标定工作，可以得到停止线距离车的实际物理位置。到此，停止线的检测与测距完成。

Claims (9)

1.一种应用于智能驾驶的停止线检测与测距算法，其特征在于，包括以下步骤：

步骤1：对目标区域进行摄像机镜头标定；

步骤2：采集路面灰度图片，提取感兴趣区域；

步骤3：对提取出来的感兴趣区域进行预处理得到二值图；

步骤4：判断图像中是否存在斑马线，如果存在，则根据斑马线与停止线之间的关系检测停止线，完成停止线检测；否则检测图像中是否存在路面标识符；

步骤5：如果存在路面标识符，则根据路面标识符与停止线之间的关系检测停止线，完成停止线检测；

步骤6：如果检测到停止线，则根据透视图像计算车与停止线之间的距离，程序结束，否则，程序结束。

2.根据权利要求1所述的应用于智能驾驶的停止线检测与测距算法，其特征在于：所述提取感兴趣区域的过程为，一个车道内的梯形的区域，通过行近邻差值法，将该梯形区域转化为矩形区域，即为感兴趣区域。

3.根据权利要求2所述的应用于智能驾驶的停止线检测与测距算法，其特征在于：所述行近邻差值法为：将任意长度的行，通过近邻差值，拉伸为指定宽度的行。

4.根据权利要求1所述的应用于智能驾驶的停止线检测与测距算法，其特征在于：所述预处理过程为：

对感兴趣区域图像进行大尺度均值滤波处理，得到目标图像，然后对目标图像进行二值化处理，得到二值图。

5.根据权利要求1所述的应用于智能驾驶的停止线检测与测距算法，其特征在于：所述判断图像中是否存在斑马线包括以下过程：

步骤1：提取图像第一行灰度信息作为检测斑马线的特征向量；

步骤2：将检测斑马线的特征向量输入adboost神经网络中，判断该特征向量是否为斑马线，如果是，则图像中存在斑马线，判断结束，否则执行步骤3；

步骤3：判断当前行是否为图像最后一行，如果是，则提取下一行灰度信息，作为检测斑马线的特征向量，执行步骤2，否则图像中不存在斑马线，判断结束。

6.根据权利要求1所述的应用于智能驾驶的停止线检测与测距算法，其特征在于：所述根据斑马线与停止线之间的关系检测停止线包括以下过程：

步骤1：将当前行灰度值进行累加，得到当前行的累加和，记为Sum_Zebra；

步骤2：对图像进行行累加，得到累加和数组；

步骤3：在累加和数组中找到小于0.8*Sum_Zebra的行，记为R1；

步骤4：从R1行开始，在累加和数组中找到大于1.4*Sum_Zebra的行；

步骤5：如果找到，则该行为停止线所在行，完成检测过程；

步骤6：否则对图像进行标记连通，并统计连通域信息；

步骤7：如果存在连通域宽度大于图像宽度的2/3，则连通域起始行为停止线所在行，完成检测过程；否则不存在停止线，完成检测过程。

7.根据权利要求1所述的应用于智能驾驶的停止线检测与测距算法，其特征在于：所述根据路面标识符与停止线之间的关系检测停止线包括以下过程：

步骤1：提取路面标识符特征向量；

步骤2：将检测路面标识符的特征向量输入adboost神经网络中，判断该特征向量是否为路面标识符，如果是，则图像中存在路面标识符，执行步骤3，否则不存在路面标识符，完成停止线检测过程；

步骤3：截取图像第一行到标识符起始行之间的部分图像，对部分图像进行标记连通，并统计连通域信息；

步骤4：如果存在连通域宽度大于图像宽度的2/3，则连通域起始行为停止线所在行，完成检测过程；否则不存在停止线，完成检测过程。

8.根据权利要求1所述的应用于智能驾驶的停止线检测与测距算法，其特征在于：所述对目标区域进行摄像机镜头标定包括以下过程：

步骤1：在车正前方设置棋盘格，使车前端与棋盘格边缘相接；

步骤2：检测图像棋盘格中标记点的位置坐标；

步骤3：根据标记点的位置坐标，采用透视变换算法，得到透视图像。

9.根据权利要求8所述的应用于智能驾驶的停止线检测与测距算法，其特征在于：所述标记点为构成矩形的四个点。