CN106960193A - 一种车道线检测装置和方法 - Google Patents

Abstract

本发明公开一种车道线检测装置，包括图像采集模块、图像处理模块以及报警显示模块，图像采集模块与图像处理模块电连接并交互传输数据，图像处理模块与报警显示模块电连接。本发明还提出一种检测方法，图像采集模块对车辆前方的车道线进行视频拍摄，图像采集模块将采集到的视频数据转换为图像数据后发送至图像处理模块，图像处理模块处理图像数据并检测出图像中对应的车道线，图像处理模块判断检测到的车道线置信度，置信度高，则保存检测结果；置信度低则丢弃检测结果。相对现有技术，本发明合理搭载车道线检测算法，可快速地检测出车道线，解决了车道线检测实时性的问题，为辅助驾驶系统快速稳定的提供车道线信息。

Description

一种车道线检测装置和方法

技术领域

本发明涉及智能交通技术领域，特别涉及一种车道线检测装置和方法。

背景技术

随着我国经济的快速发展，我国机动车保有量逐年增加，同时道路交通事业的迅猛发展使得我国交通运输业发展得到强而有力的支撑，但是诸多道路交通问题却逐渐成为了社会性的问题，例如交通道路拥堵、车辆停放困难、交通事故频繁发生等，特别是交通事故导致的社会价值损害最大。

为了解决上述问题，智能交通已经成为了全球性的研究热点，其目的是为了解决交通问题所带给人类生活的困扰。通过科学技术手段实现汽车的主动安全和辅助驾驶对于交通安全系统的可持续发展有着重要且深远的意义，也将提高整个社会的交通运输效率。

目前，国家在智能交通的建设正在不断增加投入，并且该领域已经进入到快速发展期，其产业将迎来巨大的市场发展空间。国内外学者专家在机器视觉和图像处理相关知识的技术上开展了一系列以主动安全驾驶为中心的相关技术研究，如车辆检测、路面检测、行人检测、交通标志检测、疲劳驾驶检测、车辆跟踪等。

其中车辆图像处理技术是基于车体与道路的安全驾驶保障技术之一，成为了上述技术的核心基础与载体。通过提高驾驶员的视觉效能，可减少因为视觉原因带来的不当操作，使得车辆的运行更加稳定、可靠、安全，从而提高车辆行驶的主动安全性。当车辆具备了相关的辅助驾驶功能，车载图像处理将辅助驾驶员判断路面情况，从而可以帮助驾驶员作出更正确的驾驶行为，并且可以在一定范围内减少事故的发生率。

在结构化的城市道路中，车道线标志可指示车辆的安全行驶范围，因此车道线检测不仅仅是辅助驾驶系统中的基础环节，并且是在实际应用中具有重要的意义。辅助驾驶系统对于车道检测的实时性要求比较高，一帧图像需要在一定时间内处理完毕并且给出正确的检测结果，而能否正确检测出车道线影响着后续的车道偏离预警工作的开展。然而复杂的道路环境常常影响着车道线特征的提取，主要存在一些技术困难。

例如城市结构化道路两旁栽种了树木，在光照强度较大的情况下，树木的倒影会投射阴影到路面上，在这种情况下，阴影是一种强度较大的干扰信号。同时，道路上的车辆、行人等对车道线产生阻挡，在种情况下，车道线的信息会丢失一部分，不充分的信息将影响车道线提取。因此检测算法复杂度较高时，实时性难以保证，但是如果算法过于简单时，又难以保证检测的正确率。

发明内容

本发明的主要目的是提出一种车道线检测装置和一种方法，旨在提高车道线检测装置和检测方法的准确性以及稳定性。

为实现上述目的，本发明提出的一种车道线检测装置，包括：

安装于车辆前窗并可朝向车辆行驶前端拍摄视频图像数据的图像采集模块；

可对所述图像采集模块采集到的图像数据进行处理以获取可视的行车环境与车道线检测结果的图像处理模块；

可显示车道线检测结果以及发出报警提示的报警显示模块；

所述图像采集模块与所述图像处理模块电连接并交互传输数据，所述图像处理模块与所述报警显示模块电连接。

优选地，所述图像采集模块为CCD摄像头，所述图像处理模块包括相互电连接的FPGA芯片以及DM642芯片、所述报警显示模块为相互电连接的数字视频编码器ADV7170以及显示屏。

优选地，所述CCD摄像头内部设有用于将视频数据流解码成PAL或 NTSC格式输出图像的SAA7113视频解码芯片。

优选地，所述输出图像的分辨率为576×720。

优选地，所述输出图像的分辨率为640×480。

本发明还提出一种方法，应用所述车道线检测装置且包括以下步骤：

1)所述图像采集模块对车辆前方的车道线进行视频拍摄，所述图像采集模块将采集到的视频数据转换为图像数据后发送至图像处理模块；

2)所述图像处理模块处理图像数据并检测出图像中对应的车道线；

3)所述图像处理模块判断检测到的车道线置信度，置信度高，则保存检测结果；置信度低则丢弃检测结果。

优选地，所述步骤2)包括以下步骤：

1)所述图像处理模块的所述FPGA芯片对图像数据进行预处理，提取图像数据的边缘特征点；

2)所述图像处理模块的所述DM642芯片通过改进的Hough算法根据图像的边缘特征点，提取出图像车道线的临时检测结果。

优选地，所述步骤1)包括以下步骤：

1)将读入的图像数据进行中值滤波预处理；

2)使用+45°与-45°方向的改进Sobel算子进行边缘检测，得到边缘特征点；

3)然后使用2×2大小的垂直于水平算子计算出代表边缘方向的梯度角度；

4)最后使用先验的边缘方向约束排除不需要的边缘特征点，根据之前得到的梯度方向和边缘检测结果，通过对边缘点施加如下公式所示的梯度方向约束，可以排除一部分非车道线边缘点：

P_L＝{(x,y)|I_E(x,y)＝255,x≤n/2,a(x,y)∈[20°,70°]}

P_R＝{(x,y)|I_E(x,y)＝255,x≤n/2,a(x,y)∈[-70°,-20°]}

其中，x代表像素点P的横坐标，n为图像宽度，L、R分别代表像素点P 位于图像的左侧和右侧，a(x,y)为该点像素的梯度方向。

优选地，所述步骤2)包括以下步骤：

1)初始化累加器空间，开辟一个二维数组A(ρ,θ)作为空间转换的累加器，其中θ_l∈[20°,70°]，θ_r∈[-20°,-70°]，ρ∈[-D,D]，ρ的精度为1个像素值，并且对数组中所有元素进行清零；

2)将左侧梯度区间[20°,70°]与右侧梯度区间[-70°,-20°]各均匀分为5个区间段，对二值化后的图像左右两侧像素点根据自身的梯度方向进行投票，从而分别找到左右两侧特征点最多的两个区间段I_l和I_r，若I_l和I_r中的特征点数目没有达到门限则将其相邻的区间段的像素合并在其中；

3)搜索图像中的像素点，并遍寻相应的θ值，计算参数ρ＝xcosθ+ysinθ，得到中间结果(ρ_m,θ_m)，并将代表该参数累加器的数组元素进行累加得到公式 H(ρ_m,θ_m)＝H(ρ_m,θ_m)+1，直到所有目标点的转换结束，得到完整的Hough变换矩阵；

4)将二维数组A(ρ,θ)中所有元素与阈值T比较，其中大于阈值的参数点将保留下来作为目标直线的参数(ρ_o,θ_o)；

5)对整张图像进行遍寻，找出满足ρ_o＝xcosθ_o+ysinθ_o所有的(x,y)值并标记出来作为最终的直线检测结果。

优选地，所述步骤3)包括以下步骤：

1)首先检测结果(ρ_L,θ_L)、(ρ_R,θ_R)，是否远远偏离上一次保留的检测结果；

2)若没有偏离，则由方程组

推导得到vanishing_point＝(x_o,y_o)；

计算消失点坐标(x_o,y_o)，然后将该坐标与上一次保留的消失点坐标进行比较，若在一定范围内未偏离，则(ρ_L,θ_L)、(ρ_R,θ_R)与(x_o,y_o)为需要的检测结果。

本发明技术方案提出一种车道线检测装置，包括图像采集模块、图像处理模块以及报警显示模块，图像采集模块与图像处理模块电连接且交互传输数据，图像处理模块还与报警显示模块电连接。本发明还提出一种检测方法，先由车载的CCD摄像头捕捉图像，进一步利用车道线检测算法检测出图像中的车道线，检测算法先对图像进行预处理，提取图像的边缘特征点。再利用改进的Hough算法根据边缘特征点检测出车道线，该算法即使在复杂的环境下也能快速完整地检测车道线。最后判断检测到的车道线置信度，置信度高的，保存检测结果，置信度低的，丢弃检测结果，以确保车道线的准确率，提高车辆在现实应用中识别车道线的稳定性。

相对于现有技术，本发明合理地搭载车道线检测算法，能够快速地检测出车道线，解决了车道线检测实时性的问题，为辅助驾驶系统快速稳定的提供车道线信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明车道线检测装置的硬件架构图；

图2为本发明车道线检测方法的流程图；

图3为本发明车道线检测算法的流程图；

图4为本发明车道线检测置信度检测流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提出一种车道线检测装置。

请参见图1，本发明实施例的一种车道线检测装置包括安装于车辆前窗并可朝向车辆行驶前端拍摄视频图像数据的图像采集模块、可对图像采集模块采集到的图像数据进行处理以获取可视的行车环境与车道线检测结果的图像处理模块、可显示车道线检测结果以及发出报警提示的报警显示模块，本发明实施例中图像采集模块与图像处理模块电连接并交互传输数据，图像处理模块与报警显示模块电连接。

请参见图1，具体地，本发明实施例中的图像采集模块为CCD摄像头，为了提高直线检测算法的效率，便于算法中的边缘特征提取、边缘点判定等，因此选用了拥有强大并行处理能力的FPGA芯片。由于Hough算法变换需要反复读写参数空间，而在FPGA芯片中，这种读写操作将严重影响并行处理进程，而DM642有着运算速度快、寻址方式灵活的优点，更适合复杂的算术运算，因此使用DM642实现，因此发明实施例的图像处理模块包括相互电连接的FPGA芯片以及DM642芯片，而报警显示模块则为相互电连接的数字视频编码器ADV7170以及显示屏。

CCD摄像头内部设有用于将视频数据流解码成PAL或NTSC格式输出图像的SAA7113视频解码芯片，CCD摄像头通过SAA7113视频解码芯片与 FPGA芯片电连接，FPGA芯片通过VP0端口向DM642芯片传输数据，DM642 芯片通过VP2端口向FPGA芯片传输数据，FPGA芯片还与数字视频编码器 ADV7170电连接，数字视频编码器ADV7170与显示屏电连接。本发明实施例中，SAA7113视频解码芯片转换为的图像分辨率为640×480，在本发明的其他实施例中，图像分辨率可为576×720。

请参见图2，本发明还提出一种应用上述车道线检测装置的方法，包括以下步骤：

1)图像采集模块对车辆前方的车道线进行视频拍摄，图像采集模块将采集到的视频转换为图像数据后发送至图像处理模块；

2)图像处理模块处理图像数据并检测出图像中对应的车道线；

3)图像处理模块判断检测到的车道线置信度，置信度高，则保存检测结果；置信度低则丢弃检测结果。

本发明实施例的车道线检测装置和方法的工作原理为：

首先将CCD摄像头定位安装于车辆的正前方位置，使得CCD摄像头能够正对车辆前方的道路以及拍摄到左右两侧的车道线信息，同时摄像头可对道路可行区域的信息进行完整捕捉。

请参加图3，图像处理模块的FPGA芯片对捕捉到视频图像进行车道线检测，从而提取图像数据的边缘特征点。首先对视频图像进行预处理，提取图像的边缘特征点。将CCD摄像头发送至且被读入的图像进行中值滤波预处理，使用+45°和-45°方向的改进Sobel算子进行边缘检测，从而得到边缘特征点，然后使用2×2大小的垂直于水平算子计算出代表边缘方向的梯度角度，最后使用先验的边缘方向约束排除不需要的边缘特征点，根据之前得到的梯度方向和边缘检测结果，通过对边缘点施加以下公式所示的梯度方向约束，可以排除一部分非车道线的边缘点。

P_L＝{(x,y)|I_E(x,y)＝255,x≤n/2,a(x,y)∈[20°,70°]}

P_R＝{(x,y)|I_E(x,y)＝255,x≤n/2,a(x,y)∈[-70°,-20°]}

其中，x代表像素点P的横坐标，n为图像宽度，L、R分别代表像素点P 位于图像的左侧和右侧，a(x,y)为该点像素的梯度方向。

通过上述的公式可以知道，先验边缘信息表明，左侧边缘点的梯度方向在20°～70°之间，右侧边缘点的梯度方向在-20°～-70°之间则为有效边缘点。

然后图像采集模块的DM642芯片通过改进的Hough算法根据图像的边缘特征点，提取出临时的检测结果，检测结果为极值坐标(ρ_L,θ_L)、(ρ_R,θ_R)，其中(ρ_L,θ_L)为左边车道线极坐标，(ρ_R,θ_R)为右边车道线极坐标。

具体包括以下步骤：

1)初始化累加器空间。开辟一个二维数组A(ρ,θ)作为空间转换的累加器，其中θ_l∈[20°,70°]，θ_r∈[-20°,-70°]，ρ∈[-D,D]，ρ的精度为1个像素值，并且对数组中所有元素进行清零。

2)将左侧梯度区间[20°,70°]与右侧梯度区间[-70°,-20°]各均匀分为5个区间段，对二值化后的图像左右两侧像素点根据自身的梯度方向进行投票，从而分别找到左右两侧特征点最多的两个区间段I_l和I_r，若I_l和I_r中的特征点数目没有达到门限则将其相邻的区间段的像素合并在其中。

3)搜索图像中的像素点，并遍寻相应的θ值计算参数ρ＝xcosθ+ysinθ，得到中间结果(ρ_m,θ_m)，并将代表该参数累加器的数组元素进行累加得到公式 H(ρ_m,θ_m)＝H(ρ_m,θ_m)+1，直到所有目标点的转换结束，得到完整的Hough变换矩阵。

4)将二维数组A(ρ,θ)中所有元素与阈值T比较，其中大于阈值的参数点将保留下来作为目标直线的参数(ρ_o,θ_o)。

5)对整张图像进行遍寻，找出满足ρ_o＝xcosθ_o+ysinθ_o所有的(x,y)值并标记出来作为最终的直线检测结果。

请参见图4，最后判断检测到的车道线置信度，如置信度高的，则保留检测结果，置信度低的，则丢弃检测结果。

具体地，其中判断检测到的车道线置信度时，首先检测结果(ρ_L,θ_L)和 (ρ_R,θ_R)是否远远地偏离上一次保留的检测结果，若没有发生偏离时，则由方程组

可以推导得到vanishing_point＝(x_o,y_o)

计算消失点的坐标(x_o,y_o)，然后将该消失点坐标与上一次保留的消失点坐标进行比较，若在一定范围内未偏离，则(ρ_L,θ_L)、(ρ_R,θ_R)与(x_o,y_o)为需要的检测结果并予以保留。

本发明技术方案的一种车道线检测方法和装置，先由车载的CCD摄像头捕捉图像，进一步利用车道线检测算法检测出图像中的车道线，检测算法先对图像进行预处理，提取图像的边缘特征点。再利用改进的Hough算法根据边缘特征点检测出车道线，该算法即使在复杂的环境下也能快速完整地检测车道线。最后判断检测到的车道线置信度，置信度高的，保存检测结果，置信度低的，丢弃检测结果，以确保车道线的准确率，提高车辆在现实应用中识别车道线的稳定性。

相对于现有技术，本发明合理地搭载车道线检测算法，能够快速地检测出车道线，解决了车道线检测实时性的问题，为辅助驾驶系统快速稳定的提供车道线信息。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种车道线检测装置，其特征在于，包括：

安装于车辆前窗并可朝向车辆行驶前端拍摄视频图像数据的图像采集模块；

可对所述图像采集模块采集到的图像数据进行处理以获取可视的行车环境与车道线检测结果的图像处理模块；

可显示车道线检测结果以及发出报警提示的报警显示模块；

所述图像采集模块与所述图像处理模块电连接并交互传输数据，所述图像处理模块与所述报警显示模块电连接。

2.如权利要求1所述的车道线检测装置，其特征在于，所述图像采集模块为CCD摄像头，所述图像处理模块包括相互电连接的FPGA芯片以及DM642芯片、所述报警显示模块为相互电连接的数字视频编码器ADV7170以及显示屏。

3.如权利要求2所述的车道线检测装置，其特征在于，所述CCD摄像头内部设有用于将视频数据流解码成PAL或NTSC格式输出图像的SAA7113视频解码芯片。

4.如权利要求3所述的车道线检测装置，其特征在于，所述输出图像的分辨率为576×720。

5.如权利要求3所述的车道线检测装置，其特征在于，所述输出图像的分辨率为640×480。

6.一种方法，其特征在于，应用如权利要求1至5任一所述车道线检测装置且包括以下步骤：

1)所述图像采集模块对车辆前方的车道线进行视频拍摄，所述图像采集模块将采集到的视频数据转换为图像数据后发送至图像处理模块；

2)所述图像处理模块处理图像数据并检测出图像中对应的车道线；

3)所述图像处理模块判断检测到的车道线置信度，置信度高，则保存检测结果；置信度低则丢弃检测结果。

7.如权利要求6所述的方法，其特征在于，所述步骤2)包括以下步骤：

1)所述图像处理模块的所述FPGA芯片对图像数据进行预处理，提取图像数据的边缘特征点；

2)所述图像处理模块的所述DM642芯片通过改进的Hough算法根据图像的边缘特征点，提取出图像车道线的临时检测结果。

8.如权利要求7所述的方法，其特征在于，所述步骤1)包括以下步骤：

1)将读入的图像数据进行中值滤波预处理；

2)使用+45°与-45°方向的改进Sobel算子进行边缘检测，得到边缘特征点；

3)然后使用2×2大小的垂直于水平算子计算出代表边缘方向的梯度角度；

4)最后使用先验的边缘方向约束排除不需要的边缘特征点，根据之前得到的梯度方向和边缘检测结果，通过对边缘点施加如下公式所示的梯度方向约束，可以排除一部分非车道线边缘点：

P_L＝{(x,y)|I_E(x,y)＝255,x≤n/2,a(x,y)∈[20°,70°]}

P_R＝{(x,y)|I_E(x,y)＝255,x≤n/2,a(x,y)∈[-70°,-20°]}

其中，x代表像素点P的横坐标，n为图像宽度，L、R分别代表像素点P位于图像的左侧和右侧，a(x,y)为该点像素的梯度方向。

9.如权利要求7所述的方法，其特征在于，所述步骤2)包括以下步骤：

1)初始化累加器空间，开辟一个二维数组A(ρ,θ)作为空间转换的累加器，其中θ_l∈[20°,70°]，θ_r∈[-20°,-70°]，ρ∈[-D,D]，ρ的精度为1个像素值，并且对数组中所有元素进行清零；

2)将左侧梯度区间[20°,70°]与右侧梯度区间[-70°,-20°]各均匀分为5个区间段，对二值化后的图像左右两侧像素点根据自身的梯度方向进行投票，从而分别找到左右两侧特征点最多的两个区间段I_l和I_r，若I_l和I_r中的特征点数目没有达到门限则将其相邻的区间段的像素合并在其中；

3)搜索图像中的像素点，并遍寻相应的θ值，计算参数ρ＝xcosθ+ysinθ，得到中间结果(ρ_m,θ_m)，并将代表该参数累加器的数组元素进行累加得到公式H(ρ_m,θ_m)＝H(ρ_m,θ_m)+1，直到所有目标点的转换结束，得到完整的Hough变换矩阵；

4)将二维数组A(ρ,θ)中所有元素与阈值T比较，其中大于阈值的参数点将保留下来作为目标直线的参数(ρ_o,θ_o)；

5)对整张图像进行遍寻，找出满足ρ_o＝xcosθ_o+ysinθ_o所有的(x,y)值并标记出来作为最终的直线检测结果。

10.如权利要求6所述的方法，其特征在于，所述步骤3)包括以下步骤：

1)首先检测结果(ρ_L,θ_L)、(ρ_R,θ_R)，是否远远偏离上一次保留的检测结果；

2)若没有偏离，则由方程组

推导得到vanishing_point＝(x_o,y_o)；

3)计算消失点坐标(x_o,y_o)，然后将该坐标与上一次保留的消失点坐标进行比较，若在一定范围内未偏离，则(ρ_L,θ_L)、(ρ_R,θ_R)与(x_o,y_o)为需要的检测结果。