CN105718872A - 两侧车道快速定位及检测车辆偏转角度的辅助方法及系统 - Google Patents

Abstract

本发明提供一种两侧车道快速定位及检测车辆偏转角度的辅助方法及系统，其通过预处理得到优化后的灰度图像，并对灰度图像进行二值化处理提取车道线，基于图像的横向直方图投影纠正车道线与道路平行的图像及其直方图，获取车辆当前时刻的偏转角；并通过直方图估算车道线数，验证车道线数的直方图样本数据方差，直方图样本数据方差的最小估算结果为侧面车道线数。与传统辅助定位车道方法相比，通过本发明所述两侧车道快速定位及检测车辆偏转角度的辅助方法及系统得到的车道线定位不受大多数外界环境影响，算法鲁棒性高；且车道线定位速度快，符合车载设备实时性要求；在车道线定位同时，得到了智能车辆与车道线的夹角，对后续车道偏离预警奠定基础。

Description

两侧车道快速定位及检测车辆偏转角度的辅助方法及系统

技术领域

本发明涉及智能驾驶行业的交通信息检测领域，具体涉及一种两侧车道快速定位及检测车辆偏转角度的辅助方法及系统。

背景技术

汽车智能驾驶一直是人工智能研究者的热门话题之一，基于GPS定位所在车道的方法依赖于定位精度，且易受干扰，导致不能给车辆控制系统有效信息；基于雷达辅助定位的方法也会受到障碍物，附近过往车辆的影响，且成本高，提供有效信息有限，不宜精确定位车辆位置，指导车辆行驶。

针对上述情况对车道线检测影响的问题，大量国内学者提出基于视觉辅助定位车道的多种方法。这些方法大致分为基于色彩信息和基于边缘信息两种。然而，天气、路边树木花草、阴影、附近车辆、路况等不可预测的情况都有可能对基于上述两种检测方法产生影响。

而且传统基于视觉辅助定位的方法，不论是基于车道线特征提取的方法还是基于车道线颜色分割的方法，都需要拟定一个相适应的数学模型来拟合检测出的线段，耗费了一定的硬件资源。因此，亟需提供一种车道线定位不受大多数外界环境影响，算法鲁棒性高；且车道线定位速度快的辅助方法。

发明内容

针对现阶段技术的不足，本发明的目的是提供一种车道线定位不受大多数外界环境影响，算法鲁棒性高，且车道线定位速度快的辅助方法。

一种两侧车道快速定位及检测车辆偏转角度的辅助方法，所述两侧车道快速定位及检测车辆偏转角度的辅助方法包括：

S1、采集车辆驾驶中道路两侧场景图像，对采集的图像进行预处理得到优化后的灰度图像；

S2、通过二值化处理自所述灰度图像中提取车道线，并基于图像的横向直方图投影纠正车道线与道路平行的图像及其直方图，获取车辆当前时刻的偏转角；

S3、根据直方图估算车道线数，验证车道线数的直方图样本数据方差，直方图样本数据方差的最小估算结果为侧面车道线数。

一种两侧车道快速定位及检测车辆偏转角度的辅助系统，所述两侧车道快速定位及检测车辆偏转角度的辅助系统包括：

图像处理模块，用于采集车辆驾驶中道路两侧场景图像，对采集的图像进行预处理得到优化后的灰度图像；

偏转角获取模块，用于通过二值化处理自所述灰度图像中提取车道线，并基于图像的横向直方图投影纠正车道线与道路平行的图像及其直方图，获取车辆当前时刻的偏转角；

车道线估算模块，用于根据直方图估算车道线数，验证车道线数的直方图样本数据方差，直方图样本数据方差的最小估算结果为侧面车道线数。

本发明提供一种两侧车道快速定位及检测车辆偏转角度的辅助方法及系统，其通过预处理得到优化后的灰度图像，并对灰度图像进行二值化处理提取车道线，基于图像的横向直方图投影纠正车道线与道路平行的图像及其直方图，获取车辆当前时刻的偏转角；并通过直方图估算车道线数，验证车道线数的直方图样本数据方差，直方图样本数据方差的最小估算结果为侧面车道线数。

本发明所述两侧车道快速定位及检测车辆偏转角度的辅助方法及系统的算法理论依据充分，可行性稳定性高；具有完备的输入输出接口，能良好完成辅助定位的任务。与传统基于视觉辅助定位车道的方法相比，通过本发明所述两侧车道快速定位及检测车辆偏转角度的辅助方法及系统得到的车道线定位不受大多数外界环境影响，算法鲁棒性高；且车道线定位速度快，符合车载设备实时性要求；在车道线定位同时，得到了智能车辆与车道线的夹角，对后续车道偏离预警奠定基础。本系统不需要昂贵的雷达设备或者图像采集设备，普通相机即可完成任务，成本低廉，适于广泛应用。

附图说明

图1是本发明实施例中所述的两侧车道快速定位及检测车辆偏转角度的辅助方法的流程框图；

图2是图1中步骤S1的流程框图；

图3是本发明实施例中对图像进行逆透视变换处理后的俯瞰图；

图4是图1中步骤S2的流程框图；

图5是图4中步骤S21的流程框图；

图6是本发明实施例中对图像进行二值化处理后的二值图；

图7是图1中步骤S3的流程框图；

图8是本发明实施例中在图像中标记车道线的示意图；

图9是本发明实施例中所述的两侧车道快速定位及检测车辆偏转角度的辅助系统的模块框图；

图10是图9中图像处理模块的子功能模块框图；

图11是图9中偏转角获取模块的子功能模块框图；

图12是图11中二值化子模块的单元框图；

图13是图9中车道线估算模块的子功能模块框图；

图14是本发明实施例中所述的两侧车道快速定位及检测车辆偏转角度的辅助系统的另一模块框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供一种两侧车道快速定位及检测车辆偏转角度的辅助方法，其包括以下步骤：

S1、采集车辆驾驶中道路两侧场景图像，对采集的图像进行预处理得到优化后的灰度图像；

S2、通过二值化处理自所述灰度图像中提取车道线，并基于图像的横向直方图投影纠正车道线与道路平行的图像及其直方图，获取车辆当前时刻的偏转角；

S3、根据直方图估算车道线数，验证车道线数的直方图样本数据方差，直方图样本数据方差的最小估算结果为侧面车道线数。

其中，如图2所示，所述步骤S1包括以下分步骤：

S11、对采集的图像进行色彩平衡；

S12、对色彩平衡处理后的图像进行逆透视变换处理，使图像从透视图变为俯瞰图；

S13、对进行逆透视变换处理后的图像进行灰度化颜色处理；

S14、对颜色处理后的图像进行噪声抑制以及弱化阴影的处理。

具体的，智能驾驶车辆两侧后视镜下安装的摄像头实时采集两侧道路场景视频流，从视频流中获取当前帧的图像数据，并将图像数据存储在矩阵数据结构中。

由于摄像机光学器件与外界环境影响，得到的帧数据中白色的物体往往不能呈现出正确的颜色。所以，将图像的RGB三色通道分离，分别对三色通道统计其直方图，并计算其累计直方图，根据设定的经验值参数获得两个阈值min和max，将大于max的或者小于min的灰度进行处理后合并三色通道，即能够得到更加接近于真实世界中白色物体的图像。

摄像头获取的每帧图像是经过透视变换成像的，图像上车道线的距离不是严格一致或者相近的，因此，需要对图像进行逆透视变换处理，从而获得如图3所示的俯瞰图。

为降低图片处理难度，需要对原场景彩色图像进行灰度化，只保留图像中的亮度信息，具体可以按照一般地彩色RGB图像灰度化方法进行，假定RGB彩色三通道图像上位于某一像素点处的像素值为(r,g,b)，那么灰度化时该点处的像素值为0.299*r+0.587*g+0.114*b。

进一步的，对得到的图像进行一次算子大小为9X9的高斯滤波，并对图像进行一次算子大小为5X5的开操作，去除图像中小的孤立点，并使边缘毛刺平滑，从而得到了一张优化处理后灰度图。

其中，如图4所示，所述步骤S2包括以下分步骤：

S21、对灰度图像进行二值化处理，设定灰度阈值，根据灰度阈值选择出车道线以及其他灰度稳定区域；

S22、对二值图进行边缘检测，寻找轮廓,根据车道线轮廓特征剔除除车道线以外被填充为白色的物体；

S23、对灰度图像进行旋转，对每次旋转的图像计算横向直方图投影；

S24、记录每幅直方图总体样本的方差，记录最大方差对应的角度、图像以及直方图，并获取车辆当前时刻的偏转角。

由于灰度图像经过了逆透视变换处理，所以在对其进行感兴趣物体分割的时候，对灰度图像进行寻找MSER(最大稳定极值区域)处理，本处理是为了对灰度图进行二值化处理，将区域灰度稳定的区域选择出来。经过本步骤处理后，图像中车道线以及其他灰度稳定的区域被处理为白色，其他区域为黑色；

具体的，如图5所示，所述步骤S21包括以下分步骤：

S211、寻找图像矩阵中最小像素点，并以最小像素点为节点，寻找与最小像素点的像素值相近的相似像素点，且归为一个集合，

S212、再次以相似像素点为节点继续寻找其他相似像素点加入同一集合中，直至遍历完图像中的所有点；

S213、根据集合将图像分类出若干区域，设定灰度阈值，将满足灰度阈值的车道线以及其他灰度稳定区域填充为白色，其他区域填充为黑色。

不过在上述结果图像中，依然有小的非感兴趣区域被划分为感兴趣区域，即填充为白色，于是需要对图像进行canny边缘检测，再次寻找出感兴趣区域的轮廓，将轮廓面积和宽高比在设定阈值范围内的区域过滤，即填充为黑色，得到如图6所示的只含车道路面主要信息的二值图。经过本步骤处理后，图像上基本剩下车道线以及少量干扰物。

然后对图像进行规定阈值内的旋转操作，对每次旋转的图像计算横向直方图投影，将图像信息转换为更好量化处理的数据统计信息，记录每幅直方图的峰值，估算每条车道线在图像中的纵坐标位置(波峰纵坐标位置)，从而得到正确的车道线与X轴平行的图像；具体的，所述规定阈值范围为±15°，即从0°开始遍历到+15°和-15°。

同时，遍历每幅直方图总体样本的方差，记录最大方差对应的偏转角度、经过旋转纠正后的图像以及其直方图，从而可以收集到纠正为车道线与图像X轴平行的图像以及其直方图供后续处理用，并获取纠正的角度，即车辆当前时刻的偏转角。

其中，如图7所示，所述步骤S3包括以下分步骤：

S31、根据俯瞰图中的像素点得到道路宽度，通过道路宽度估计车道数；

S32、根据直方图中的波峰估算车道线数，并从估算的车道线数中选取符合先验车道数的组合；

S33、根据先验车道数组合的车道线数验证直方图样本数据方差，选取样本数据方差最小的估算结果为侧面车道线数。

具体的，根据逆透视变换得到的俯瞰图中的像素点，计算实际道路宽度,估算可能存在的实际车道数，根据步骤S24中得到的直方图估算检测车道数，并从检测车道数中选取实际车道数,理出所有组合，例:检测出5条，先验3条，组合数为并选择出符合阈值要求的车道线组合；

根据筛选得到的车道线组合的车道线数，验证直方图样本数据方差，选取样本数据方差最小的估算结果为侧面车道线数，并标记其位置，如图8所示。

如图9所示，本发明还提供一种两侧车道快速定位及检测车辆偏转角度的辅助系统，所述两侧车道快速定位及检测车辆偏转角度的辅助系统包括：

图像处理模块，用于采集车辆驾驶中道路两侧场景图像，对采集的图像进行预处理得到优化后的灰度图像；

偏转角获取模块，用于通过二值化处理自所述灰度图像中提取车道线，并基于图像的横向直方图投影纠正车道线与道路平行的图像及其直方图，获取车辆当前时刻的偏转角；

车道线估算模块，用于根据直方图估算车道线数，验证车道线数的直方图样本数据方差，直方图样本数据方差的最小估算结果为侧面车道线数。

如图10所示，所述图像处理模块包括以下子模块：

色彩平衡子模块，用于对采集的图像进行色彩平衡；

透视变换子模块，用于对色彩平衡处理后的图像进行逆透视变换处理，使图像从透视图变为俯瞰图；

灰度处理子模块，用于对进行逆透视变换处理后的图像进行灰度化颜色处理；

优化处理子模块，用于对颜色处理后的图像进行噪声抑制以及弱化阴影的处理。

如图11所示，所述偏转角获取模块包括以下子模块：

二值化子模块，用于对灰度图像进行二值化处理，设定灰度阈值，根据灰度阈值选择出车道线以及其他灰度稳定区域；

边缘检测子模块，用于对二值图进行边缘检测，寻找轮廓,根据车道线轮廓特征剔除除车道线以外被填充为白色的物体；

图像旋转子模块，用于对灰度图像进行旋转，对每次旋转的图像计算横向直方图投影；

图像纠正子模块，用于记录每幅直方图总体样本的方差，记录最大方差对应的角度、图像以及直方图，收集并纠正因车辆旋转造成的车道线与车辆不平行的采集图像，并获取车辆当前时刻的偏转角。

如图12所示，所述二值化子模块包括以下功能单元：

集合建立单元，用于寻找图像矩阵中最小像素点，并以最小像素点为节点，寻找与最小像素点的像素值相近的相似像素点，且归为一个集合；

集合划分单元，用于再次以相似像素点为节点继续寻找其他相似像素点加入同一集合中，直至遍历完图像中的所有点；

区域划分单元，用于根据集合将图像分类出若干区域，设定灰度阈值，将满足灰度阈值的车道线以及其他灰度稳定区域填充为白色，其他区域填充为黑色。

如图13所示，所述车道线估算模块包括以下子模块：

路宽估算子模块，用于根据俯瞰图中的像素点得到实际道路宽度，通过实际道路宽度估计实际车道数；

组合选取子模块，用于根据直方图中的波峰估算车道线数，并从估算的车道线数中选取符合实际车道数的组合；

方差估算子模块，用于根据实际车道数组合的车道线数验证直方图样本数据方差，选取样本数据方差最小的估算结果为侧面车道线数。

本发明所述两侧车道快速定位及检测车辆偏转角度的辅助系统还包括输入辅助模块和输出辅助模块，其中，如图14所示，所述输入辅助模块包括：

定位设备，用于利用GPS定位和惯性导航设备得到的数据综合起来得到车道当前的位置信息；

高精度地图模块，用于从云服务器中获得的事先采集好的高精度地图；

图像采集设备：安装在智能车辆两侧后视镜的摄像头实时传输车辆两侧视频流。

所述输出辅助模块包括决策模块，所述决策模块可根据当前车辆偏转角度和车辆速度以及距离车道线距离是否均符合一定的经验阈值判断是否需要报警。

本发明提供一种两侧车道快速定位及检测车辆偏转角度的辅助方法及系统，其通过预处理得到优化后的灰度图像，并对灰度图像进行二值化处理提取车道线，基于图像的横向直方图投影纠正车道线与道路平行的图像及其直方图，获取车辆当前时刻的偏转角；并通过直方图估算车道线数，验证车道线数的直方图样本数据方差，直方图样本数据方差的最小估算结果为侧面车道线数。

本发明所述两侧车道快速定位及检测车辆偏转角度的辅助方法及系统的算法理论依据充分，可行性稳定性高；具有完备的输入输出接口，能良好完成辅助定位的任务。与传统基于视觉辅助定位车道的方法相比，通过本发明所述两侧车道快速定位及检测车辆偏转角度的辅助方法及系统得到的车道线定位不受大多数外界环境影响，算法鲁棒性高；且车道线定位速度快，符合车载设备实时性要求；在车道线定位同时，得到了智能车辆与车道线的夹角，对后续车道偏离预警奠定基础。本系统不需要昂贵的雷达设备或者图像采集设备，普通相机即可完成任务，成本低廉，适于广泛应用。

以上装置实施例与方法实施例是一一对应的，装置实施例简略之处，参见方法实施例即可。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应超过本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可檫除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种两侧车道快速定位及检测车辆偏转角度的辅助方法，其特征在于，所述两侧车道快速定位及检测车辆偏转角度的辅助方法包括：

S1、采集车辆驾驶中道路两侧场景图像，对采集的图像进行预处理得到优化后的灰度图像；

S2、通过二值化处理自所述灰度图像中提取车道线，并基于图像的横向直方图投影纠正车道线与道路平行的图像及其直方图，获取车辆当前时刻的偏转角；

S3、根据直方图估算车道线数，验证车道线数的直方图样本数据方差，直方图样本数据方差的最小估算结果为侧面车道线数。

2.根据权利要求1所述的两侧车道快速定位及检测车辆偏转角度的辅助方法，其特征在于，所述步骤S1包括以下分步骤：

S11、对采集的图像进行色彩平衡；

S12、对色彩平衡处理后的图像进行逆透视变换处理，使图像从透视图变为俯瞰图；

S13、对进行逆透视变换处理后的图像进行灰度化颜色处理；

S14、对颜色处理后的图像进行噪声抑制以及弱化阴影的处理。

3.根据权利要求2所述的两侧车道快速定位及检测车辆偏转角度的辅助方法，其特征在于，所述步骤S2包括以下分步骤：

S21、对灰度图像进行二值化处理，设定灰度阈值，根据灰度阈值选择出车道线以及其他灰度稳定区域；

S22、对二值图进行边缘检测，寻找轮廓,根据车道线轮廓特征剔除除车道线以外被填充为白色的物体；

S23、对灰度图像进行旋转，对每次旋转的图像计算横向直方图投影；

S24、记录每幅直方图总体样本的方差，记录最大方差对应的角度、图像以及直方图，并获取车辆当前时刻的偏转角。

4.根据权利要求3所述的两侧车道快速定位及检测车辆偏转角度的辅助方法，其特征在于，所述步骤S22包括以下分步骤：

S211、寻找图像矩阵中最小像素点，并以最小像素点为节点，寻找与最小像素点的像素值相近的相似像素点，且归为一个集合；

S212、再次以相似像素点为节点继续寻找其他相似像素点加入同一集合中，直至遍历完图像中的所有点；

S213、根据集合将图像分类出若干区域，设定灰度阈值，将满足灰度阈值的车道线以及其他灰度稳定区域填充为白色，其他区域填充为黑色。

5.根据权利要求4所述的两侧车道快速定位及检测车辆偏转角度的辅助方法，其特征在于，所述步骤S3包括以下分步骤：

S31、根据俯瞰图中的像素点得到实际道路宽度，通过实际道路宽度估计实际车道数；

S32、根据直方图中的波峰估算车道线数，并从估算车道线数中选取符合实际车道数的组合；

S33、根据实际车道数组合的车道线数验证直方图样本数据方差，选取样本数据方差最小的估算结果为侧面车道线数。

6.一种两侧车道快速定位及检测车辆偏转角度的辅助系统，其特征在于，所述两侧车道快速定位及检测车辆偏转角度的辅助系统包括：

图像处理模块，用于采集车辆驾驶中道路两侧场景图像，对采集的图像进行预处理得到优化后的灰度图像；

偏转角获取模块，用于通过二值化处理自所述灰度图像中提取车道线，并基于图像的横向直方图投影纠正车道线与道路平行的图像及其直方图，获取车辆当前时刻的偏转角；

车道线估算模块，用于根据直方图估算车道线数，验证车道线数的直方图样本数据方差，直方图样本数据方差的最小估算结果为侧面车道线数。

7.根据权利要求6所述两侧车道快速定位及检测车辆偏转角度的辅助系统，其特征在于，所述图像处理模块包括以下子模块：

色彩平衡子模块，用于对采集的图像进行色彩平衡；

透视变换子模块，用于对色彩平衡处理后的图像进行逆透视变换处理，使图像从透视图变为俯瞰图；

灰度处理子模块，用于对进行逆透视变换处理后的图像进行灰度化颜色处理；

优化处理子模块，用于对颜色处理后的图像进行噪声抑制以及弱化阴影的处理。

8.根据权利要求7所述两侧车道快速定位及检测车辆偏转角度的辅助系统，其特征在于，所述偏转角获取模块包括以下子模块：

二值化子模块，用于对灰度图像进行二值化处理，设定灰度阈值，根据灰度阈值选择出车道线以及其他灰度稳定区域；

边缘检测子模块，用于对二值图进行边缘检测，寻找轮廓,根据车道线轮廓特征剔除除车道线以外被填充为白色的物体；

图像旋转子模块，用于对灰度图像进行旋转，对每次旋转的图像计算横向直方图投影；

图像纠正子模块，用于记录每幅直方图总体样本的方差，记录最大方差对应的角度、图像以及直方图，收集并纠正因车辆旋转造成的车道线与道路不平行的采集图像，并获取车辆当前时刻的偏转角。

9.根据权利要求8所述两侧车道快速定位及检测车辆偏转角度的辅助系统，其特征在于，所述二值化子模块包括以下功能单元：

集合建立单元，用于寻找图像矩阵中最小像素点，并以最小像素点为节点，寻找与最小像素点的像素值相近的相似像素点，且归为一个集合；

集合划分单元，用于再次以相似像素点为节点继续寻找其他相似像素点加入同一集合中，直至遍历完图像中的所有点；

区域划分单元，用于根据集合将图像分类出若干区域，设定灰度阈值，将满足灰度阈值的车道线以及其他灰度稳定区域填充为白色，其他区域填充为黑色。

10.根据权利要求9所述两侧车道快速定位及检测车辆偏转角度的辅助系统，其特征在于，所述车道线估算模块包括以下子模块：

路宽估算子模块，用于根据俯瞰图中的像素点得到实际道路宽度，通过实际道路宽度估计实际车道数；

组合选取子模块，用于根据直方图中的波峰估算车道线数，并从估算的车道线数中选取符合实际车道数的组合；

方差估算子模块，用于根据实际车道数组合的车道线数验证直方图样本数据方差，选取样本数据方差最小的估算结果为侧面车道线数。