CN105426864B - 一种基于等距边缘点匹配的多车道线检测方法 - Google Patents

Abstract

本发明公开了一种基于等距边缘点匹配的多车道线检测方法，包括：采集汽车前方道路图像，利用世界坐标系、相机坐标系和图像坐标系之间的相互关系，对采集到的汽车前方道路图像做逆透视投影变化，以得到道路图像的鸟瞰图，对鸟瞰图进行边缘检测，并对检测到的边缘图进行预处理，对预处理后的边缘图中所有的边缘点进行局部区域匹配，保留匹配成功的边缘点对，并通过这些边缘点对得到特征点图，在特征点图中，依照特征点的分布对图像进行分块，并提取出包含一条车道线所有特征点，并且隔离属于其他车道线特征点的区域，作为一条车道线的候选区域。本发明能有效地解决现有方法中多车道线检测，定位弯曲车道线，区分实车道线还有虚车道线中遇到的技术问题。

Description

一种基于等距边缘点匹配的多车道线检测方法

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于等距边缘点匹配的多车道线检测方法。

背景技术

随着家用汽车的普及，交通安全问题日益受到人们的关注。据统计，在世界范围内，道路交通事故每年造成死亡的人数为50万人，已经成为了生命安全的一大威胁。

为了提高道路安全，避免交通事故发生，许多研究机构和公司在智能辅助驾驶方面进行了大量的研究，希望可以在事故发生之前提供一些辅助信息，保证交通安全。智能辅助驾驶系统通常采用GPS，激光，雷达，计算机视觉等多种方式进行协同运作。其中，采用计算机视觉的智能辅助方法，由于其成本低，扩展性强的特点，越发的受人重视。该方法通过在汽车上架设相机，对采集得到的周围图像信息进行分析，可用来进行道路偏离预警，控制汽车变道转向等。作为其中的主要组成部分，车道线检测，尤其是多车道线的检测，可以为智能辅助驾驶提供许多关键信息，显得尤其重要。

如今，采用计算机视觉的车道线检测通常涉及到两个方面：1)车道线特征点的提取：特征点是可以在图像中表示车道线位置的像素点，选取的关键在于能准确的表示特定车道线的位置。提取特征点的方法有以下几种：根据颜色强度进行阈值分割，选择亮度高的像素点作为特征点；提取边缘作为特征点等。2)车道线模型的选择：车道线模型有直线模型，分段直线模型，抛物线模型，回旋曲线模型，B样条曲线模型等。模型选择的关键在于可以准确的拟合车道线的形状，包括经常出现转弯或者分流等多种不同弯曲。选定模型后用此曲线模型对特征点进行拟合，来表示车道线。

然而，现有的车道线检测方法多少存以下几方面的问题：

1、无法进行多车道线的检测。多车道线的检测可以为车辆换道，转向等操作提供辅助。但是目前的车道线检测方法大多数限制只检测汽车所在车道两边的车道线，这样虽然降低了车道线检测的难度，但是丢失了许多重要信息。

2、无法快速准确定位弯曲的车道线。现有的方法中，有的采用Hough变换进行车道线检测，这样只能检测笔直的车道线，在车道线弯曲的情况下只能保证前方短距离的检测结果；有的采用抛物线模型对弯曲的车道进行拟合，抛物线模型虽然可以拟合简单的转弯情况并且计算速度比较快，但是在类似于车道分流，环岛等的复杂的道路情景下容易出现偏差；而采用更加复杂的模型，则面临着计算量增加，无法实时检测的问题。

3、无法对实车道线和虚车道线进行区分。在汽车的实际驾驶过程中，实车道线和虚车道线表示着不同的含义，对其进行区分有助于完善车道线检测的结果，然而由于虚车道线不连续的特点，有时难以检测，就算检测出来了，也极少有方法对其进行区分。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了基于等距边缘点匹配的多车道线检测方法，其目的在于，提高车道线检测的鲁棒性，并且解决上述提到的技术问题，本发明采用可以拟合复杂曲线形状的B样条曲线模型，车道线特征点的选择方面提出了一种综合利用车道线的边缘、方向、车道线之间的位置关系、车道线宽度等多种信息的等距边缘点对提取方法，不仅可以快速的提取出笔直的或者转弯的车道线上的特征点，减少了曲线拟合的计算量，而且方便对实线虚线做出区分，有效的解决现有方法中多车道线检测，定位弯曲车道线，区分实车道线还有虚车道线中遇到的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于等距边缘点匹配的多车道线检测方法，包括以下步骤：

(1)采集汽车前方道路图像；

(2)利用世界坐标系、相机坐标系和图像坐标系之间的相互关系，对采集到的汽车前方道路图像做逆透视投影变化，以得到道路图像的鸟瞰图；

(3)对鸟瞰图进行边缘检测，并对检测到的边缘图进行预处理，

(4)对预处理后的边缘图中所有的边缘点进行局部区域匹配，保留匹配成功的边缘点对，并通过这些边缘点对得到特征点图；

(5)在特征点图中，依照特征点的分布对图像进行分块，并提取出包含一条车道线所有特征点，并且隔离属于其他车道线特征点的区域，作为一条车道线的候选区域。

(6)在每个候选区域内根据边缘点对的数目对其中包含的是实线还是虚线进行区分，如果数目大于一阈值，则表明该区域内包含的是实线，否则为虚线；

(7)在步骤(5)中得到的候选区域中，在竖直方向上，每隔一定间隔随机选择一个特征点作为一个控制点，利用得到的若干控制点拟合一条B样条曲线，表示一条车道线；

(8)将步骤(7)得到的车道线进行透视变化，并将透视变化的结果投影回原始的汽车前方道路图像，以得到最终的多车道线检测结果。

优选地，步骤(3)包括以下子步骤：

(3.1)对鸟瞰图进行边缘检测，以得到初始的边缘图；

(3.2)对得到的边缘图进行过滤，即删除方向与竖直方向角度大于角度阈值的边缘。

优选地，步骤(4)包括以下子步骤：

(4.1)对预处理后的边缘图中的每个边缘点，设定以该边缘点为圆心的扇环形区域作为搜索区域；

(4.2)在边缘图中随机选取一个边缘点，检查在该边缘点的搜索区域内是否有其他边缘点，如果没有，则说明该边缘点不属于车道线边缘，将该点删除，如果有一到多个其他边缘点，则选取其中距离最近的一个与选取的边缘点构成边缘点对，并进行保存；

(4.3)将得到的边缘点对从边缘图中删除，对所有剩下的边缘点重复执行上述步骤(4.2)的操作，直到没有空余的边缘点为止，并将每个边缘点对的中点作为一个特征点，多个特征点构成特征点图。

优选地，步骤(4.1)具体为，车道线在鸟瞰图中的宽度L，可在计算逆透视投影变换的过程中，在像素坐标由世界坐标系向图像坐标系转换时，在水平方向代入世界坐标系中车道线的宽度计算得到，扇环的外半径为L+5个像素，内半径为L-5个像素，扇环的角度为与水平方向成负30度到正30度以及150度到210度的范围内。

优选地，步骤(5)具体包括以下子步骤：

(5.1)在特征点图中，对特征点在竖直方向上进行数目累加，如果累加的数目大于给定阈值，说明该位置可能有一条车道线，将该位置的横坐标作为一个候选点坐标，如果候选点数目为零，则表明该图中没有车道线。如果有多个候选点，则需要对其进一步校验过滤，将过滤后可以确定存在一条车道线的候选点称为位置点；

(5.2)选取累加特征点数目最大的候选点，作为一个位置点并进行保存，计算位置点与其他所有其他候选点的坐标之间的距离，并删除其中距离小于宽度阈值的候选点；

(5.3)将上一步得到的位置点从候选点的集合中删除，并重复步骤(5.2)，直到所有候选点都处理完毕为止；

(5.4)在特征点图中利用步骤(5.2)和(5.3)确定的位置点将该位置点所表示的每一个位置区域提取出来。

按照本发明的另一方面，提供了一种基于等距边缘点匹配的多车道线检测系统，包括：

第一模块，用于采集汽车前方道路图像；

第二模块，用于利用世界坐标系、相机坐标系和图像坐标系之间的相互关系，对采集到的汽车前方道路图像做逆透视投影变化，以得到道路图像的鸟瞰图；

第三模块，用于对鸟瞰图进行边缘检测，并对检测到的边缘图进行预处理；

第四模块，用于对预处理后的边缘图中所有的边缘点进行局部区域匹配，保留匹配成功的边缘点对，并通过这些边缘点对得到特征点图；

第五模块，用于在特征点图中，依照特征点的分布对图像进行分块，并提取出包含一条车道线所有特征点，并且隔离属于其他车道线特征点的区域，作为一条车道线的候选区域。

第六模块，用于在每个候选区域内根据边缘点对的数目对其中包含的是实线还是虚线进行区分，如果数目大于一阈值，则表明该区域内包含的是实线，否则为虚线；

第七模块，用于在第五模块中得到的候选区域中，在竖直方向上，每隔一定间隔随机选择一个特征点作为一个控制点，利用得到的若干控制点拟合一条B样条曲线，表示一条车道线；

第八模块，用于将第七模块得到的车道线进行透视变化，并将透视变化的结果投影回原始的汽车前方道路图像，以得到最终的多车道线检测结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明能够解决现有方法中存在的无法准确快速进行多车道线检测的问题：首先在步骤(2)中对图像进行逆透视投影变换，将不同的车道线恢复成彼此平行的状态，再根据步骤(4)中得到车道线的特征点，最后按照步骤(5)中提到的方法，对图像进行车道线区域提取，由此将每条车道线的区域准确提取出来，在每个车道线区域内分别进行车道线检测，实现多车道线的检测。

(2)本发明能够解决现有方法中存在的无法区分实车道线和虚车道线的问题：由于在步骤(4)中得到了每条车道线的特征点，在步骤(6)中，根据虚车道线和实车道线在特征点的数目上的显著差别进行区分，因此可以解决实车道线和虚车道线识别的问题。

(3)本发明能够解决现有方法中存在的无法准确定位弯曲车道线的问题：由于先在步骤(4)中得到可以准确表示车道线位置的特征点，再在步骤(7)中选取其中若干特征点作为控制点拟合一条B样条曲线，B样条曲线有可以任意弯曲的特点，适合复杂车道线情况的表示，同时我们降低了特征点的数目，减少了B样条曲线计算的复杂度，因此可以准确而且快速的定位弯曲的车道线。

附图说明

图1是本发明基于等距边缘点匹配的多车道线检测方法的整体流程示意图。

图2是边缘点匹配流程示意图。

图3是车道线位置区域提取流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明分为六个部分，分别为道路图像逆透视投影变换、边缘图预处理、固定宽度边缘点匹配、车道线位置区域提取、实线虚线识别、曲线模型拟合。

如图1所示，本发明基于等距边缘点匹配的多车道线检测方法包括以下步骤：

(1)采集汽车前方道路图像。

(2)利用世界坐标系、相机坐标系和图像坐标系之间的相互关系，对采集到的汽车前方道路图像做逆透视投影变化，以得到道路图像的鸟瞰图。

(3)对鸟瞰图进行边缘检测，并对检测到的边缘图进行预处理，本步骤具体包括以下子步骤：

(3.1)对鸟瞰图进行边缘检测，以得到初始的边缘图；具体而言，在本实施方式中，边缘检测采用canny算子。

(3.2)对得到的边缘图进行过滤，即删除方向与竖直方向角度大于角度阈值的边缘；优选地，角度阈值选为60度；

(4)对预处理后的边缘图中所有的边缘点进行局部区域匹配，保留匹配成功的边缘点对，并通过这些边缘点对得到特征点图；如图2所示，本步骤具体包括以下子步骤：

(4.1)对预处理后的边缘图中的每个边缘点，设定以该边缘点为圆心，一定宽度和角度的扇环形区域作为搜索区域。

具体而言，在鸟瞰图中，由于消除了透视变换的影响，车道线表现为固定的宽度。如果一个边缘点是属于车道线的，那么在车道线宽度范围内应该可以找到与之对应的其他边缘点，而且两者之间的角度应该保持在合理的范围。车道线在鸟瞰图中的宽度L，可在计算逆透视投影变换的过程中，在像素坐标由世界坐标系向图像坐标系转换时，在水平方向代入世界坐标系中车道线的宽度计算得到。世界坐标系中车道线宽度通常为150mm。扇环的外半径为L+5个像素，内半径为L-5个像素，扇环的角度选为与水平方向成负30度到正30度以及150度到210度这个范围内。

(4.2)在边缘图中随机选取一个边缘点，检查在该边缘点的搜索区域内是否有其他边缘点，如果没有，则说明该边缘点不属于车道线边缘，将该点删除，如果有一到多个其他边缘点，则选取其中距离最近的一个与选取的边缘点构成边缘点对，并进行保存。

(4.3)将得到的边缘点对从边缘图中删除，对所有剩下的边缘点重复执行上述步骤(4.2)的操作，直到没有空余的边缘点为止，并将每个边缘点对的中点作为一个特征点，多个特征点构成特征点图。

(5)在特征点图中，依照特征点的分布对图像进行分块，并提取出包含一条车道线所有特征点，并且隔离属于其他车道线特征点的区域，作为一条车道线的候选区域。如图3所示，本步骤具体包括以下子步骤：

(5.1)在特征点图中，对特征点在竖直方向上进行数目累加，如果累加的数目大于给定阈值，说明该位置可能有一条车道线，将该位置的横坐标作为一个候选点坐标。如果候选点数目为零，则表明该图中没有车道线。如果有多个候选点，则需要对其进一步校验过滤，将过滤后可以确定存在一条车道线的候选点称为位置点。

具体而言，为了更好的检测车道线，我们需要将属于不同车道线的特征点隔离开来。经过逆透视变化之后，车道线大体上保持竖直方向，同一条车道线上提取的特征点的横坐标是比较集中的，不同车道线上的特征点的横坐标有比较大的距离，而干扰产生的特征点的分布则比较分散。在竖直方向统计特征点的数目，在车道线附近将会形成一个峰值。可以依此对车道线区域定位。特征点数目阈值选为15到30，优选的，选为20。

(5.2)选取累加特征点数目最大的候选点，作为一个位置点并进行保存，计算位置点与其他所有其他候选点的坐标之间的距离，并删除其中距离小于宽度阈值W的候选点。

具体而言，由于同一条车道线上可能产生多个候选点，我们只需要保留其中累加数目最大的一个。可以依照候选点上累加特征点的数目和候选点之间的距离对其进行校验过滤。宽度阈值W选为特征点图宽度的八分之一到三分之一，优选地，宽度阈值W选为特征点图宽度的五分之一。

(5.3)将上一步得到的位置点从候选点的集合中删除，并重复步骤(5.2)，直到所有候选点都处理完毕为止。

(5.4)在特征点图中利用步骤(5.2)和(5.3)确定的位置点将该位置点所表示的每一个位置区域提取出来；具体而言，位置区域为一矩形区域，高度为特征点图的高度，宽度为固定值，中心点的横坐标为位置点的坐标。置区域的宽度为特征点图宽度的六分之一到九分之一，优选地，为特征点图宽度的八分之一。

(6)在每个候选区域内根据边缘点对的数目对其中包含的是实线还是虚线进行区分，如果数目大于一定阈值，则表明该区域内包含的是实线，否则为虚线。

具体而言，在实际应用中，实车道线和虚车道线具有不同含义，对其进行区分有助于车道线检测系统的实际应用。阈值的取值范围是20到40，优选的选为30。

(7)在步骤(5)中得到的候选区域中，在竖直方向上，每隔一定间隔随机选择一个位置点作为一个控制点，利用得到的若干控制点拟合一条B样条曲线，表示一条车道线。优选地，间隔的取值范围是候选区域高度的三分之一到五分之一。优选的选为候选区域高度的四分之一。

(8)将上一步骤得到的车道线进行透视变化，并将透视变化的结果投影回原始的汽车前方道路图像，以得到最终的多车道线检测结果。

本发明的多车道线检测方法，首先利用逆透视变换得到鸟瞰图，消除了道路图像中透视的影响。确保车道线之间的位置关系、车道线的方向、车道线宽度等信息不会因为距离相机的远近而发生变化。这些信息有助于我们对车道线进行识别、过滤和校验。

对于一般的鸟瞰图，通常是用二维高斯模版滤波得到车道线位置点，这样的方法缺点在于无法将人行道，转向箭头等别的交通标识与车道线分离出来，而且对偏离竖直方向较大的弯曲车道线有一定程度的抑制。本发明针对这一点，提出了一种基于固定宽度的边缘点匹配方法，不仅可以滤除干扰，而且不会限制车道线的方向，可以更加准确的表示弯曲的车道线。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于等距边缘点匹配的多车道线检测方法，其特征在于，包括以下步骤：

(1)采集汽车前方道路图像；

(2)利用世界坐标系、相机坐标系和图像坐标系之间的相互关系，对采集到的汽车前方道路图像做逆透视投影变化，以得到道路图像的鸟瞰图；

(3)对鸟瞰图进行边缘检测，并对检测到的边缘图进行预处理；

(4)对预处理后的边缘图中所有的边缘点进行局部区域匹配，保留匹配成功的边缘点对，并通过这些边缘点对得到特征点图；

(5)在特征点图中，依照特征点的分布对图像进行分块，提取出包含一条车道线所有特征点，并且隔离属于其他车道线特征点的区域，作为一条车道线的候选区域；

(6)在每个候选区域内根据边缘点对的数目对其中包含的是实线还是虚线进行区分，如果数目大于阈值，则表明该区域内包含的是实线，否则为虚线；

(7)在步骤(5)中得到的候选区域中，在竖直方向上，每隔一定间隔随机选择一个特征点作为一个控制点，利用得到的若干控制点拟合一条B样条曲线，表示一条车道线；

(8)将步骤(7)得到的车道线进行透视变化，并将透视变化的结果投影回原始的汽车前方道路图像，以得到最终的多车道线检测结果。

2.根据权利要求1所述的多车道线检测方法，其特征在于，步骤(3)包括以下子步骤：

(3.1)对鸟瞰图进行边缘检测，以得到初始的边缘图；

(3.2)对得到的边缘图进行过滤，即删除方向与竖直方向角度大于角度阈值的边缘。

3.根据权利要求2所述的多车道线检测方法，其特征在于，步骤(4)包括以下子步骤：

(4.1)对预处理后的边缘图中的每个边缘点，设定以该边缘点为圆心的扇环形区域作为搜索区域；

(4.2)在边缘图中随机选取一个边缘点，检查在该边缘点的搜索区域内是否有其他边缘点，如果没有，则说明该边缘点不属于车道线边缘，将该点删除，如果有一到多个其他边缘点，则选取其中距离最近的一个与选取的边缘点构成边缘点对，并进行保存；

(4.3)将得到的边缘点对从边缘图中删除，对所有剩下的边缘点重复执行上述步骤(4.2)的操作，直到没有空余的边缘点为止，并将每个边缘点对的中点作为一个特征点，多个特征点构成特征点图。

4.根据权利要求3所述的多车道线检测方法，其特征在于，具体而言，步骤(4.1)具体为，车道线在鸟瞰图中的宽度L，可在计算逆透视投影变换的过程中，在像素坐标由世界坐标系向图像坐标系转换时，在水平方向代入世界坐标系中车道线的宽度计算得到，扇环的外半径为L+5个像素，内半径为L-5个像素，扇环的角度为与水平方向成负30度到正30度以及150度到210度的范围内。

5.根据权利要求3所述的多车道线检测方法，其特征在于，步骤(5)具体包括以下子步骤：

(5.1)在特征点图中，对特征点在竖直方向上进行数目累加，如果累加的数目大于给定阈值，说明该位置可能有一条车道线，将该位置的横坐标作为一个候选点坐标，如果候选点数目为零，则表明该图中没有车道线，如果有多个候选点，则需要对其进一步校验过滤，将过滤后可以确定存在一条车道线的候选点称为位置点；

(5.2)选取累加特征点数目最大的候选点，作为一个位置点并进行保存，计算位置点与其他所有其他候选点的坐标之间的距离，并删除其中距离小于宽度阈值的候选点；

(5.3)将上一步得到的位置点从候选点的集合中删除，并重复步骤(5.2)，直到所有候选点都处理完毕为止；

(5.4)在特征点图中利用步骤(5.2)和(5.3)确定的位置点将该位置点所表示的每一个位置区域提取出来。

6.一种基于等距边缘点匹配的多车道线检测系统，其特征在于，包括：

第一模块，用于采集汽车前方道路图像；

第二模块，用于利用世界坐标系、相机坐标系和图像坐标系之间的相互关系，对采集到的汽车前方道路图像做逆透视投影变化，以得到道路图像的鸟瞰图；

第三模块，用于对鸟瞰图进行边缘检测，并对检测到的边缘图进行预处理；

第四模块，用于对预处理后的边缘图中所有的边缘点进行局部区域匹配，保留匹配成功的边缘点对，并通过这些边缘点对得到特征点图；

第五模块，用于在特征点图中，依照特征点的分布对图像进行分块，并提取出包含一条车道线所有特征点，并且隔离属于其他车道线特征点的区域，作为一条车道线的候选区域；

第六模块，用于在每个候选区域内根据边缘点对的数目对其中包含的是实线还是虚线进行区分，如果数目大于一阈值，则表明该区域内包含的是实线，否则为虚线；

第七模块，用于在第五模块中得到的候选区域中，在竖直方向上，每隔一定间隔随机选择一个特征点作为一个控制点，利用得到的若干控制点拟合一条B样条曲线，表示一条车道线；

第八模块，用于将第七模块得到的车道线进行透视变化，并将透视变化的结果投影回原始的汽车前方道路图像，以得到最终的多车道线检测结果。