CN108256445B - 车道线检测方法及系统 - Google Patents

Abstract

本发明涉及一种车道线检测方法及系统。该方法包括：获取车行前方的原始图像并从原始图像中确定待检测区域；对待检测区域的图像进行逆透视变换；对逆透视变换后的图像进行车道线边缘增强处理；从增强处理后的图像中筛选出候选点；对筛选出的候选点进行分组；对各组候选点分别进行拟合得到的拟合结果为各待检测车道线；将拟合得到的待检测车道线反变换至原始图像空间。本发明在对待检测区域逆变换之后，通过图像滤波器实现了对车道线的增强处理，并结合主方向估计对图像进行了旋转变换，去除换道等影响，提高了后续车道检测的鲁棒性。本发明将增强处理后的图像分成了多个条带图，这种分块处理的方式大大地减小了计算量，提高了系统检测的实时性。

Description

车道线检测方法及系统

技术领域

本发明涉及汽车安全辅助驾驶技术领域，尤其涉及一种车道线检测 方法及系统。

背景技术

车道偏离预警系统是汽车安全辅助驾驶技术研究的重要组成部分， 通过警告疲劳或注意力不集中的驾驶员，使其修正无意识的车道偏离， 从而减少车辆偏离行驶车道事故的发生。其中，如何快速、准确地提取 出道路中车道标识线或道路边界是影响该系统应用的关键。

目前，车道线检测一般采用基于空间变换的方法，例如Hough方法 等，但现有的基于空间变换的方法的计算复杂度高，无法满足实时性要 求。另外，现有的车道线检测方法，在车道线与车辆行进方向角度较大 (如换道、并线等情况)时，检测结果很不稳定，而这种不稳定的检测 加过容易造成对驾驶员的错误引导，存在一定的安全隐患。

发明内容

鉴于上述的分析，本发明旨在提供一种车道线检测方法及系统，用 以解决现有算法计算复杂度高的问题。

本发明的目的主要是通过以下技术方案实现的：

一个方面，本发明提出了一种车道线检测方法，该方法包括如下步 骤：获取车行前方的原始图像并从所述原始图像中确定待检测区域；对 待检测区域的图像进行逆透视变换；对逆透视变换后的所述图像进行车 道线边缘增强处理；从增强处理后的所述图像中筛选出候选点；对筛选 出的所述候选点进行分组；对各组所述候选点分别进行拟合，得到的拟 合结果为各待检测车道线；将拟合得到的所述待检测车道线反变换至原 始图像空间。

进一步地，上述车道线检测方法中，所述对逆透视变换后的所述图 像进行车道线边缘增强处理步骤进一步包括：确定图像的主方向角度； 将逆透视变换后的图像在主方向上旋转一角度；旋转的所述角度与主方 向角度之和为90度；对旋转后的图像进行卷积处理。

进一步地，上述车道线检测方法中，所述确定图像的主方向角度步 骤进一步包括：对逆透视图进行边缘检测，并将检测结果进行二值化处 理，得到多个二值化线段；根据二值化线段两个短点的坐标分别确定各 线段的倾斜角度；将各倾斜角度的均值确定为主方向角度。

进一步地，上述车道线检测方法中，所述从增强处理后的图像中筛 选出候选点步骤进一步包括：将增强处理后的图像沿高度方向分为预设 数量的条带图；对各条带图分别进行高度方向的信息叠加；搜索叠加后 的信息中的局部极大值点；将搜索到的所有局部极大值点确定为候选点。

进一步地，上述车道线检测方法中，所述对筛选出的候选点进行分 组步骤进一步包括：任选一候选点，并计算所有剩余候选点与任选候选 点之间的横向坐标差；将差值小于预设门限的所有点分为一组；按照上 述方法完成所有候选点的分组。

进一步地，上述车道线检测方法中，对各组所述候选点分别进行拟 合步骤进一步包括：确定拟合模型为二元多项式模型；采用最小二乘法 分别对各组所述候选点进行拟合；拟合得到的各二元多项式为待检测车 道线。

本发明中，在对待检测区域逆变换之后，通过图像滤波器实现了对 车道线的增强处理，并结合主方向估计对图像进行了旋转变换，去除换 道等影响，提高了后续车道检测的鲁棒性。此外，本发明将增强处理后 的图像分成了多个条带图，这种分块处理的方式大大地减小了计算量， 提高了系统检测的实时性。

另一方面，本发明还提出了一种车道线检测系统，该系统包括：获 取模块，用于获取车行前方的原始图像并从所述原始图像中确定待检测 区域；变换模块，用于对待检测区域的图像进行逆透视变换；增强模块， 用于对逆透视变换后的所述图像进行车道线边缘增强处理；筛选模块， 用于从增强处理后的所述图像中筛选出候选点；分组模块，用于对筛选出的所述候选点进行分组；拟合模块，用于对各组所述候选点分别进行 拟合，得到的拟合结果为各待检测车道线；逆变换模块，用于将拟合得 到的所述待检测车道线反变换至原始图像空间。

进一步地，上述车道线检测系统中，所述增强模块进一步包括：计 算子模块，用于计算图像的主方向角度；旋转子模块，用于将逆透视变 换后的图像在主方向上旋转一角度；旋转的所述角度与主方向角度之和 为90度；处理子模块，用于对旋转后的图像进行卷积处理。

进一步地，上述车道线检测系统中，所述计算子模块进一步包括： 检测单元，用于对逆透视图进行边缘检测，并将检测结果进行二值化处 理，得到多个二值化线段；计算单元，用于根据二值化线段两个短点的 坐标分别确定各线段的倾斜角度；确定单元，用于将各倾斜角度的均值 确定为主方向角度。

进一步地，上述车道线检测系统中，所述筛选模块进一步包括：分 割子模块，用于将增强处理后的图像沿高度方向分为预设数量的条带图； 叠加子模块，用于对各条带图分别进行高度方向的信息叠加；搜索子模 块，用于搜索叠加后的信息中的局部极大值点；确定子模块，用于将搜 索到的所有局部极大值点确定为候选点。

由于该检测系统与上述检测方法原理相同，所以该检测系统也具有 相应的技术效果。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优 选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且， 部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本 发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中 所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制， 在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例提供的车道线检测方法的流程图；

图2为本发明实施例提供的车道线检测方法中，获取的原始图像；

图3为对图2中的待检测区域进行逆透视变换后的图像；

图4为对车道线增强后的图像进行条带划分的结构示意图；

图5为车道线检测结果示意图；

图6为本发明实施例提供的车道线检测系统的结构框图；

图7为本发明实施例提供的车道线检测系统中，增强模块的结构示 意图；

图8为本发明实施例提供的车道线检测系统中，计算子模块的结构 示意图；

图9为本发明实施例提供的车道线检测系统中，筛选模块的结构示 意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本 申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用 于限定本发明的范围。

本发明的一个具体实施例，公开了一种车道线检测方法。参见图1， 该方法包括如下步骤：

步骤S101，获取车行前方的原始图像并从原始图像中确定待检测区 域。

设获取的原始图像为M(u,v)，其中，u、v是图像中的像素点在原始图 像空间中的坐标，参见图2，确定的待检测区域(u,v)∈D₀，即图中黑色方 形框体内的区域，待检测区域内包括有车道线，具体实施时，待检测区 域内的车道线数量可以根据实际情况来确定，本实施例对其不做任何限 定。

步骤S102，对待检测区域的图像进行逆透视变换。

根据光学成像原理，现实世界中原本平行的两条直行在图像中变为 相交的线条，特别是车道线在较远处分辨率变得较小，影响后续检测效 果，逆透视变换可实现原始图像至鸟瞰图转化，借助相机内外参数，可 消除这种影响。具体实现步骤如下：

对待检测区域D₀进行逆透视变换，参见图3，设逆透视变换后的图像 为IPM(x,y)，其中，x、y是逆变换图像中的像素点的横坐标和纵坐标。设 单应性变换矩阵为P_3x3，本领域技术人员应当理解，该矩阵可通过相机标 定结果获得。则逆透视图像可通过如下变换计算：

上式中，s为归一化系数，变换后的图像的宽设为W，高设为H。

步骤S103，对逆透视变换后的图像进行车道线边缘增强处理。

通过该车道线边缘增强处理，可简化后续车道线检测的难度及运算 成本。具体包括主方向估计和车道线增强两个处理流程。

其中，主方向估计具体包括如下步骤：

1)选择边缘提取算法，在逆透视图IPM(x,y)中进行边缘检测，并将 检测结果进行二值化处理，得到多个二值化线段。具体实施时，可以用 canny边缘提取方法进行边缘检测，当然，也可以应用本领域技术人员所 熟知的其他边缘提取方法，本实施例对边缘检测的具体方法不做任何限 定。

2)经过边缘提取算法提取后，可获得N个二值化线段，设任意二值 化线段i可表示为L_i(x,y)，其中，(x,y)为线段在图像上的坐标点，i∈[0,N]。 根据二值化线段两个端点的坐标分别确定各线段L_i(x,y)的倾斜角，具体 为：设(x',y')和(x”,y”)分别为该线段的起点和终点坐标，则该线段的倾斜 角为θ_i，

3)将各倾斜角度的均值确定为主方向α。具体可以根据下式确定主 方向α：

车道线增强具体包括如下步骤：

1)依据图像主方向α，将逆透视变换后的图像IPM(x,y)旋转一定角 度β，可得旋转后的图像IPM_r(x,y)。其中，

2)设计滤波器，对旋转后的图像IPM_r(x,y)进行车道线边缘增强，得 到图像IPM_s(x,y)。具体为：

IPM_s(x,y)＝IPM_r(x,y)*f_x*f_y

其中，f_x、f_y为卷积核，

其 中,σ_x＝d/2,σ_y＝d/2，其中d为车道线宽度。

步骤S104，从增强处理后的图像中筛选出候选点。

首先对增强处理后的图像进行分块，分块检测主要是实现车道线的 粗筛选，主要操作流程如下：

1)将增强处理后的图像沿高度分为预设数量的条带图。

参见图4，将IPM_s(x,y)图像沿高度分为M个条带图，第j个条带图中 点(x,y)的像素值表示为B_j(x,y)，其中x∈[1,W]，y∈[1，HM],j∈[1,M]。图4 中将IPM_s(x,y)分为五个等间隔的条带图，需要说明的是，具体实施时， 对条带图的数量可以根据实际情况来确定，本实施例对其不做任何限定， 条带图分割的越多，后续得到候选点越多，计算结果也越精确，但同时， 计算量也会越大。

2)对各条带图分别进行高度方向的信息叠加。

对任意条带图B_j(x,y)进行竖向信息叠加增强，可得到S_j(x)，计算公 式如下：

3)搜所各信息叠加后的条带图中的局部极大值点。

确定各条带图中S_j(x)的极大值点，并将条带图j中的局部极大值点的 数量记为K_j，K_j个局部极大值点序列的横坐标记为m_j(k),k∈[1,K_j]。

4)将搜索到的所有局部极大值点确定为候选点。疑似车道线上的候 选点的总个数为：

步骤S105，对筛选出的候选点进行分组。

步骤S104中得到的所有候选点，均为疑似车道线上的坐标点，本实 施例将候选点拟合成最终的车道线，首先对所有候选点进行分组。分组 时，先任选一候选点，并计算所有剩余候选点与任选候选点之间的横向 坐m_j(k)标差，将差值小于预设门限T的所有点分为一组。按照上述方法 完成所有候选点的分组。具体分组过程如下：

1)任选一候选点，令任选的候选点属于车道线l。

2)依次遍历剩余的所有候选点，如果该候选点与车道线l内的所选 候选点之间的横向坐标之差小于预设门限T，则将该点并入第l组线，并 添加编号l。需要说明的是，预设门限T的具体取值可以根据实际情况来 确定，本实施例对其不做任何限定。

3)新建一组车道线l+1，对于不属于车道线l的所有候选点，按照步 骤2)中的方法，筛选出属于车道线l+1的所有候选点。依照该方法，将 所有的候选点进行分组，最终共可获得L组序列点。

步骤S106，对各组候选点分别进行拟合，得到的拟合结果为各待检 测车道线。

本实施例利用二次曲线拟合算法，将各组候选点连接成车道线，具 体为：

1)确定拟合模型为二元多项式模型。

选择车道线模型，本实施例选择二元多项式模型：y＝ax²+bx+c；其 中，(x,y)为待检测车道线在逆透视图上的坐标点，a,b,c为待求参数。

2)采用最小二乘法分别对各组候选点进行拟合。

依次将各组车道线的候选点与上述二元多项式进行最小二乘拟合， 例如，车道线l，可估算出a^l,b^l,c^l，并得到最终车道线：y＝a^lx²+b^lx+c^l。

3)按照步骤2)完成所有车道线拟合，拟合得到的各二元多项式为 检测出的车道线。

步骤S107，将拟合得到的车道线反变换至原始图像空间。

利用逆变换，将逆透视空间(x,y)中检测出的车道线反变换至原始图 像空间(u,v)，变换方法如下：

图5中所示的三条黑实线即为变换后的车道线。

本实施例中，在对待检测区域逆变换之后，通过图像滤波器实现了 对车道线的增强处理，并结合主方向估计对图像进行了旋转变换，去除 换道等影响，提高了后续车道检测的鲁棒性，此外，通过该车道线边缘 增强处理，还可以可简化后续车道线检测的难度及运算成本。本实施例 将增强处理后的图像分成了多个条带图，这种分块处理的方式大大地减 小了计算量，提高了系统检测的实时性。

系统实施例：

参见图6，图6是本发明实施例提供的车道线检测系统的结构框图。 该系统包括：获取模块601，用于获取车行前方的原始图像并从所述原始 图像中确定待检测区域；变换模块602，用于对待检测区域的图像进行逆 透视变换；增强模块603，用于对逆透视变换后的所述图像进行车道线边 缘增强处理；筛选模块604，用于从增强处理后的所述图像中筛选出候选 点；分组模块605，用于对筛选出的所述候选点进行分组；拟合模块606， 用于对各组所述候选点分别进行拟合，得到的拟合结果为各待检测车道 线；逆变换模块607，用于将拟合得到的所述待检测车道线反变换至原始 图像空间。

该检测系统的具体实施过程参见上述说明即可，本实施例在此不再 赘述。

由于该检测系统与上述检测方法原理相同，所以该检测系统也具有 相应的技术效果。

参见图7，上述车道线检测系统中，增强模块进一步包括：计算子模 块701，用于计算图像的主方向角度；旋转子模块702，用于将逆透视变 换后的图像在主方向上旋转一角度；旋转的所述角度与主方向角度之和 为90度；处理子模块703，用于对旋转后的图像进行卷积处理。

参见图8，上述车道线检测系统中，计算子模块进一步包括：检测单 元801，用于对逆透视图进行边缘检测，并将检测结果进行二值化处理， 得到多个二值化线段；计算单元802，用于根据二值化线段两个短点的坐 标分别确定各线段的倾斜角度；确定单元803，用于将各倾斜角度的均值 确定为主方向角度。

参见图9，上述车道线检测系统中，筛选模块进一步包括：分割子模 块901，用于沿高度方向将增强处理后的图像分为预设数量的条带图；叠 加子模块902，用于对各条带图分别进行高度方向的信息叠加；搜索子模 块903，用于搜索所各信息叠加后的条带图中的局部极大值点；确定子模 块904，用于将搜索到的所有局部极大值点确定为候选点。

综上，本实施例中，在对待检测区域逆变换之后，通过图像滤波器 实现了对车道线的增强处理，并结合主方向估计对图像进行了旋转变换， 去除换道等影响，提高了后续车道检测的鲁棒性。此外，本实施例将增 强处理后的图像分成了多个条带图，这种分块处理的方式大大地减小了 计算量，提高了系统检测的实时性。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程， 可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计 算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、 只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围 并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范 围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种车道线检测方法，其特征在于，包括如下步骤：

获取车行前方的原始图像并从所述原始图像中确定待检测区域；

对待检测区域的图像进行逆透视变换；

对逆透视变换后的所述图像进行车道线边缘增强处理；

从增强处理后的所述图像中筛选出候选点；

对筛选出的所述候选点进行分组；

对各组所述候选点分别进行拟合，得到的拟合结果为各待检测车道线；

将拟合得到的所述待检测车道线反变换至原始图像空间；

所述对逆透视变换后的所述图像进行车道线边缘增强处理步骤进一步包括：

确定图像的主方向角度；

将逆透视变换后的图像在主方向上旋转一角度；旋转的所述角度与主方向角度之和为90度；

所述确定图像的主方向角度步骤进一步包括：

对逆透视图进行边缘检测，并将检测结果进行二值化处理，得到多个二值化线段；

根据二值化线段两个端点的坐标分别确定各线段的倾斜角度；

将各倾斜角度的均值确定为主方向角度；

所述从增强处理后的图像中筛选出候选点步骤进一步包括：

将增强处理后的图像沿高度方向分为预设数量的条带图；

对各条带图分别进行高度方向的信息叠加；

搜索叠加后的信息中的局部极大值点；

将搜索到的所有局部极大值点确定为候选点。

2.根据权利要求1所述的车道线检测方法，其特征在于，所述对逆透视变换后的所述图像进行车道线边缘增强处理步骤进一步包括：

将逆透视变换图在主方向上旋转一角度后，对旋转后的图像进行卷积处理。

3.根据权利要求1所述的车道线检测方法，其特征在于，所述对筛选出的候选点进行分组步骤进一步包括：

任选一候选点，并计算所有剩余候选点与所选候选点之间的横向坐标差；

将差值小于预设门限的所有点分为一组；

按照上述方法完成所有候选点的分组。

4.根据权利要求3所述的车道线检测方法，其特征在于，对各组所述候选点分别进行拟合步骤进一步包括：

确定拟合模型为二元多项式模型；

采用最小二乘法分别对各组所述候选点进行拟合；

拟合得到的各二元多项式为待检测车道线。

5.一种车道线检测系统，其特征在于，包括：

获取模块，用于获取车行前方的原始图像并从所述原始图像中确定待检测区域；

变换模块，用于对待检测区域的图像进行逆透视变换；

增强模块，用于对逆透视变换后的所述图像进行车道线边缘增强处理；

筛选模块，用于从增强处理后的所述图像中筛选出候选点；

分组模块，用于对筛选出的所述候选点进行分组；

拟合模块，用于对各组所述候选点分别进行拟合，得到的拟合结果为各待检测车道线；

逆变换模块，用于将拟合得到的所述待检测车道线反变换至原始图像空间；

所述增强模块进一步包括：

计算子模块，用于计算图像的主方向角度；

旋转子模块，用于将逆透视变换后的图像在主方向上旋转一角度；旋转的所述角度与主方向角度之和为90度；

所述计算子模块进一步包括：

检测单元，用于对逆透视图进行边缘检测，并将检测结果进行二值化处理，得到多个二值化线段；

计算单元，用于根据二值化线段两个短点的坐标分别确定各线段的倾斜角度；

确定单元，用于将各倾斜角度的均值确定为主方向角度；

所述筛选模块进一步包括：

分割子模块，用于将增强处理后的图像沿高度方向分为预设数量的条带图；

叠加子模块，用于对各条带图分别进行高度方向的信息叠加；

搜索子模块，用于搜索叠加后的信息中的局部极大值点；

确定子模块，用于将搜索到的所有局部极大值点确定为候选点。

6.根据权利要求5所述的车道线检测系统，其特征在于，所述增强模块进一步包括：

处理子模块，用于对旋转后的图像进行卷积处理。

Images