CN109670376B - 车道线识别方法及系统 - Google Patents

Abstract

本发明公开了一种车道线识别方法及系统，包括：获取车道线路信息图；采用深度学习方法，对所述车道线路信息图中的每个像素进行分类，其中，像素的类别包括：路边、黄实线、黄虚线、白实线、白虚线；根据分类后的图像，提取车道线模型以实现车道线的识别。本发明能够进行车道线类别的识别，其中包括路边、黄实线、黄虚线、白实线、白虚线这五种类别，从而可以提供车辆保持、变换车道以及精确定位所需要的信息，使车辆实现平稳和安全的运行。同样，在具有足够多标注样本的基础上，该方法可以通过增加网络输出的类别，扩展到更多类别的车道线识别。

Description

车道线识别方法及系统

技术领域

本发明涉及无人驾驶及车载辅助驾驶技术领域，特别涉及一种车道线识别方法及系统。

背景技术

随着经济快速的发展、国民生活水平不断提高，我国汽车保有量迅速增加。这导致公路交通事故发生率居高不下，交通安全问题日益突出。车辆安全驾驶辅助系统已成为当前世界交通安全领域研究的热点问题之一。在过去的几十年里，国内外的专家及学者在智能驾驶辅助系统的研究方面做出了很多贡献。现阶段，国外已出现比较成熟的高级辅助驾驶系统(ADAS)，且已投入到商业化应用中。相比于国外的技术，国内研究的起步相对较晚。车道线识别是智能驾驶和无人驾驶系统的重要组成部分。

相比于采用激光雷达进行道路信息识别，图像识别具备更直观、成本低等特点。传统的图像处理方法可进行车道线的检测，但是不能识别车道线的类型。常用的基于传统图像处理车道线检测算法大体可分为：车道线区域检测算法，特征驱动法和模型驱动法。传统图像处理方法需要对图像进行二值化处理、滤波变换、边缘提取以及霍夫变换等，对车道线所在像素点的进行提取，进而拟合及跟踪以得到车道线模型。然而，由于光照变化会对摄像头采集的道路图像产生较大的影响，且二值化处理、边缘提取算法中需要根据不同光照进行阈值设定。因此，基于传统图像处理方法的车道线检测难以应对安全驾驶在不同光照以及天气(如隧道、雨雪天气)下的使用需求。除此之外，该类方法无法解决车道线被遮挡时的检测以及车道线类别区分(如区分路边与车道线)的问题。且传统的图像处理方法不能解决车道线类别识别的问题(路边、实线、虚线等)，从而不能满足无人驾驶的使用要求。其中，路边是指限定当前车道所在边界的两条虚拟车道线，例如道路两侧的马路牙子或者围栏所在的位置。

2015年斯坦福大学联合百度提出了基于深度学习的车道线提取算法。该方法基于深度学习的图像分割技术，结合逆透视映射(IPM)及DBSAN聚类的后处理，可解决传统方法中车道线被遮挡以及车道线类别区分等问题。然而，由于受到网络设计中存在的弊端，该方法的图像分割效果并不理想，从而提高了后处理进行车道线提取的错误率。且IPM映射需要对摄像头的参数进行较为精确的标定，从而使得该车道线识别算法在实际安全驾驶的泛化及推广受到限制。除此之外，DBSAN聚类算法的使用也会降低整个算法的运行速度，不能满足复杂路面车道线识别的实时性需求。更重要的是，该方法没有对路边进行识别，难以满足安全辅助驾驶系统实际适用的需求。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种车道线识别方法。该车道线识别方法能够进行车道线类别的识别，其中包括路边、黄实线、黄虚线、白实线、白虚线这五种类别，从而可以提供车辆保持、变换车道以及精确定位所需要的信息，使车辆实现平稳和安全的运行。同样，在具有足够多标注样本的基础上，该方法可以通过增加网络输出的类别，扩展到更多类别的车道线识别。

本发明的另一个目的在于提出一种车道线识别系统。

为了实现上述目的，本发明的一方面公开了一种车道线识别方法，包括：获取车道线路信息图；采用深度学习方法，对所述车道线路信息图中的每个像素进行分类，其中，像素的类别包括：路边、黄实线、黄虚线、白实线、白虚线；根据分类后的图像，提取车道线模型以实现车道线的识别。

根据本发明的车道线识别方法，能够进行车道线类别的识别，其中包括路边、黄实线、黄虚线、白实线、白虚线这五种类别，从而可以提供车辆保持、变换车道以及精确定位所需要的信息，使车辆实现平稳和安全的运行。同样，在具有足够多标注样本的基础上，该方法可以通过增加网络输出的类别，扩展到更多类别的车道线识别。

另外，根据本发明上述实施例的车道线识别方法还可以具有如下附加的技术特征：

进一步地，所述根据分类后的图像，提取车道线模型以实现车道线的识别，具体包括：获取分类后的图像的连通域；检测每个连通域中是否仅包括与所述连通域对应的一条车道线；如果不是，则根据跟踪法提取车道线模型以实现车道线的识别；如果是，则提取车道线模型以实现车道线的识别。

进一步地，所述根据跟踪法提取车道线模型以实现车道线的识别，具体包括：根据当前时刻开始往前所有的车道线信息，并对车道线进行预测；提取预测后的车道线模型；根据所述车道线模型实现车道线的识别。

进一步地，所述根据跟踪法提取车道线模型以实现车道线的识别，具体包括：识别当前时刻开始往前预定时间内的车道线，并根据识别结果对当前车道线进行预测；提取预测后的车道线模型；根据所述车道线模型实现车道线的识别。

进一步地，所述检测每个连通域的关键点是否仅包括与所述连通域对应的一条车道线，具体包括：检测所述连通域的所有像素点数量之和与所述连通域的凸包面积的关系值是否大于第一预设值。

进一步地，所述提取车道线模型以实现车道线的识别，具体包括：提取所述连通域的关键点；根据所述关键点，检测连通域中的车道线是否包括共线的情况；如果包括共线的情况，合并共线的车道线的关键点以提取车道线模型。

进一步地，还包括：检测车道线的数量和位置；根据检测结果和识别结果，分别对车道线的检测结果和识别结果进行评估。

进一步地，所述根据检测结果和识别结果，对车道线的检测结果和识别结果进行评估，具体包括：分别统计检测结果和识别结果的车道线数量；分别获取所述检测结果和识别结果的车道线数量的最大值；根据所述检测结果和识别结果的车道线数量的最大值，构造豪斯道夫距离费用矩阵；根据所述豪斯道夫距离费用矩阵获取检测结果的最优匹配和识别结果的最优匹配；根据所述最优匹配，分别获取准确率和召回率以对车道线的检测结果和识别结果进行评估。

本发明的另一方面公开了一种车道线识别系统，包括：获取模块，用于获取车道线路信息图；神经网络模块，用于采用深度学习方法，对所述车道线路信息图中的每个像素进行分类，其中，像素的类别包括：路边、黄实线、黄虚线、白实线、白虚线；后处理模块，用于根据分类后的图像，提取车道线模型以实现车道线的识别。

根据本发明的车道线识别系统，能够进行车道线类别的识别，其中包括路边、黄实线、黄虚线、白实线、白虚线这五种类别，从而可以提供车辆保持、变换车道以及精确定位所需要的信息，使车辆实现平稳和安全的运行。同样，在具有足够多标注样本的基础上，该方法可以通过增加网络输出的类别，扩展到更多类别的车道线识别。

另外，根据本发明上述实施例的车道线识别系统还可以具有如下附加的技术特征：

进一步地，所述后处理模块具体用于获取分类后的图像的连通域，检测每个连通域中是否仅包括与所述连通域对应的一条车道线，如果不是，则根据跟踪法提取车道线模型以实现车道线的识别，如果是，则提取车道线模型以实现车道线的识别。

进一步地，所述后处理模块具体用于根据当前时刻开始往前所有的车道线信息，并对车道线进行预测，提取预测后的车道线模型，根据所述车道线模型实现车道线的识别。

进一步地，所述后处理模块具体用于识别当前时刻开始往前预定时间内的车道线，并根据识别结果对当前车道线进行预测，提取预测后的车道线模型，根据所述车道线模型实现车道线的识别。

进一步地，所述后处理模块具体用于检测所述连通域的所有像素点数量之和与所述连通域的凸包面积的关系值是否大于第一预设值。

进一步地，所述后处理模块具体用于如果每个连通域仅包括一条车道线，则提取所述连通域的关键点，根据所述关键点，检测连通域中的车道线是否包括共线的情况，如果包括共线的情况，合并共线的车道线的关键点以提取车道线模型。

进一步地，还包括：评估模块，用于检测车道线的数量和位置，并根据检测结果和识别结果，分别对车道线的检测结果和识别结果进行评估。

进一步地，所述评估模块具体用于分别统计检测结果和识别结果的车道线数量，分别获取所述检测结果和识别结果的车道线数量的最大值，根据所述检测结果和识别结果的车道线数量的最大值，构造豪斯道夫距离费用矩阵，根据所述豪斯道夫距离费用矩阵获取检测结果的最优匹配和识别结果的最优匹配，根据所述最优匹配，分别获取准确率和召回率以对车道线的检测结果和识别结果进行评估。

进一步地，所述神经网络模块是根据inception-v2优化网络连接，并根据Dropout_1b、Mixed_4f、Mixed3c进行深度学习。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的车道线识别方法的流程图；

图2是根据基于神经网络结构进行深度学习的算法流程图；

图3(a)-图3(j)是车道线标注类别示意图；

图4是根据本发明另一个实施例的车道线识别方法的流程图；

图5是跟踪法的算法的流程图；

图6是根据本发明一个实施例的提取车道线模型的流程图；

图7是根据本发明另一个实施例的提取车道线模型的流程图；

图8是根据本发明一个实施例的车道线评估算法流程图；

图9是根据本发明一个实施例的车道线识别系统的结构图；

图10是根据本发明另一个实施例的车道线识别系统的结构图；

图11(a)-图11(h)是根据本发明一个实施例的车道线标注的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

以下结合附图描述根据本发明实施例的车道线识别方法及系统。

图1是根据本发明一个实施例的车道线识别方法的流程图。

如图1所示，根据本发明一个实施例的车道线识别方法，包括：

S110：获取车道线路信息图。

具体来说，获取车道线路信息图可以通过摄像的方式，采集图像或者视频，如果采集的是视频，图像识别技术对视频中采集的图像数据进行处理，提取车道线的颜色以及位置信息。

S120：采用深度学习方法，对车道线路信息图中的每个像素进行分类，其中，像素的类别包括：路边、黄实线、黄虚线、白实线、白虚线。

其中，对路边的识别具有很重要的实用意义。现有的ADAS产品以及智能驾驶系统中均未实现路边的识别。实际道路两侧往往没有车道线，而是通过设置围栏、警戒或者马路牙子等路面边界设施来分割可行驶路面和非可行驶路面。然而，当驾驶人员行使在道路边缘且发生偏离时，有可能驶向对向车道，或者撞向路面边界设施。而目前的ADAS产品以及智能驾驶系统均无路边识别的功能，从而无法对该类交通事故进行预警提示。本方法能够快速有效的对当前车道所在的路边进行界定，从而为判断当前车辆是否行使在安全可靠的区域。

结合图2所示，根据inception-v2优化网络连接，并根据Dropout_1b、Mixed_4f、Mixed3c进行深度学习。

具体来说，传统的网络基本结构采用了FCN网络[fcn-8s]，而本发明的基于深度学习的卷积网络采用了Inception-v2,并且起到优化了网络连接的作用。本发明的卷积神经网络部分采用了inception-v2网络结构，而FCN网络的卷积网络采用了VGG网络结构。相比于VGG的基础网络，inception-v2网络采用了批正则化(batch normalization)，网络更容易收敛；且网络结构更小，速度更快。在实验中发现，如果卷积网络采用VGG，则神经网络结构难以实现对车道线中的虚白线和虚黄线的分割，只能分割出虚线中的白色块或黄色块，而无法把一条虚线完整的分割出来，而采用inception-v2可解决上述问题。除此之外，FCN网络中的fcn-8s网络结构分别采用了pool5,pool4和pool3三层的特征图进行特征抽取。由于车道线和路边缘是较大物体，且是否就是车道线结构(包括路边)还需要参考全局信息，因此，本发明的网络采用了与池化层的特征图尺寸相同且深度最深的特征图。具体而言,采用Dropout_1b,Mixed_4f和Mixed3c替代pool5,pool4和pool3层。神经网络中，Loss函数的计算会直接影响算法性能的好坏。本发明采用加权的方式以平衡路边与车道线的Loss。对于一个具体的图像，图像中车道线所在像素远小于“0”背景类像素点的个数。由此，在进行Loss计算时，依据标签数据中类别对每个像素的Loss进行加权求和以得到整幅图像的Loss。本发明采用的是加权系数为：“0”背景类为1，其他类为5。深度学习的结果除了与网络结构相关，还受到标注数据的影响。标注方式以及质量是影响学习效果的关键因素。

其中，车道线标注要求和细则可以为：其中，标注规则为：1、选择正确的种类；如果不能确定，选择“unknown”；2、标注不超过边缘的所有能看到的线；3、在车道线的中心选点；4、如果看不到任何车道线，标为‘空图’(Empty image)；5、如果图像不是从路面的图像，标为‘坏图’。结合图3(a)所示，车道线的标注类别为路边，图3(b)-(g)所示，车道线的标注类别为：单白色虚线、单白色实线、双白色虚线、双白色实线、左实右虚白色虚实线、右实左虚白色虚实线，如同白色线的形状相似，只是颜色为黄色的车道线的标注类别为：单黄色虚线、单黄色实线、双黄色虚线、双黄色实线、左实右虚黄色虚实线、右实左虚黄色虚实线，图3(h)-(j)所示，车道线的标注类别为：未知线、空图、换图等等。其中，可以用阿拉伯数字或者字母等等形式对车道线的不同类别进行标注，例如：“0”代表背景，“1”代表路边，“2”代表黄实线，“3”代表黄虚线，“4”代表白实线，“5”代表白虚线。结合图11(a)-(f)所示，图11(a)表示路边，路边可以为路面和非路面的分界，也可以是路面和隔离物的边界。图11(b)表示，如果车辆停在路口的停止线前，那么可以标记这个图为空图。图11(c)表示，如果一条车道线有好几个弯，只标到第一个弯的结束处。图11(d)表示，标记所有的车道线，直到路边为止。超过路边的车道线不用标注。图11(e)表示，如果路边旁边有另一条车道线，需要同时标注车道线和路边。图11(f)表示，如果车道线的种类发生变化，将它标注成多条线。图11(g)表示，如果一条车道线发生分叉现象，标记为多条车道线，比如图中的标注4、5、6。图11(h)所示，如果车道线被车遮挡住一部分，但是两边都露出来，可以推断为一条车道线，则将被挡住的部分一起标出；如果某一段被完全遮挡，只用标记可以看到的部分。另外，对于路边的连接和断开的问题，如果是岔道口导致断开，需要标成两段，如果不是岔道口，标成一段就可以。

S130：根据分类后的图像，提取车道线模型以实现车道线的识别。

结合图4所示，步骤S130具体包括：

S131：获取分类后的图像的连通域。

具体来说，对车道线路信息图进行分类后得到一个mask图片，检测mask图片中连通的连通域，其中，现有的图像连通域检测的库函数较多，可直接调用现有的检测技术。现有的检测技术例如：根据编程语言的不同，Python可选用skimage库中的measure.label函数获得图像中的连通域；或者，C++可选用Open CV库中自带的connected Components函数。然后，对连通域的大小进行筛选。当连通域在图像的纵轴方向的尺寸小于一定的阈值，则可认为该连通域为检测噪声。至此，可以得到满足一定尺寸要求的连通域所在的位置信息。

S132：检测每个连通域中是否仅包括与连通域对应的一条车道线。

具体来说，从图像中可以发现，当道路上的车道线清晰可见且前方无遮挡物时，所有的车道线会相交于图像的消失点，且越靠近图像左右两侧的车道线之间的距离越近。在图像处理过程中，在上述情况下分割的mask结果很容易发生多条车道线相交或是粘连，从而多条车道线构成一个连通域。如果连通域中包括共线的情况，要进行车道线的分离具有一定的难度。现有的技术中，进行车道线的分离通常可以采用基于复杂图形学操作的方法。但是实验证明该方法较为耗时，运行速率低，不能满足实时性需求。由此，需判断每个连通域是否仅包含一条车道线。

进一步地，检测每个连通域的关键点是否包括共线情况，具体包括：检测连通域的所有像素点数量之和与连通域的凸包面积的关系值是否大于第一预设值。

具体来说，当某个连通域的所有像素点数量之和，除以该连通域的凸包面积大于一定的阈值时，可认为该连通域的车道线中仅包含一条车道线。其中，求解凸包可参考Graham扫描法，或者直接调用Python中skimage.morphology库的convex_hull_image函数。

S133：如果不是，则根据跟踪法提取车道线模型以实现车道线的识别。

在一些实施例中，当车道线的连通域中的车道线包括多条车道线粘连的情况，根据跟踪法提取车道线模型以实现车道线的识别，具体包括：根据当前时刻开始往前所有的车道线信息，并对车道线进行预测；提取预测后的车道线模型；根据车道线模型实现车道线的识别，这种方式成为连续跟踪法，或者，连续跟踪法也是可以是：当道路中并无车道线，给出依据历史识别数据得到的预测结果，这里也称为虚拟车道线，根据虚拟车道线对当前车道线进行预测。

在一些实施例中，当车道线的连通域中的车道线包括多条车道线粘连的情况，根据跟踪法提取车道线模型以实现车道线的识别，具体包括：识别当前时刻开始往前预定时间内的车道线，并根据识别结果对当前车道线进行预测；提取预测后的车道线模型；根据车道线模型实现车道线的识别，这种方式为按需跟踪方式，如果当前车道没有车道线，且之前的连续多帧图片均未识别出车道线，则该跟踪器将不输出预测车道线。

在一些实施例中，当前车道线采用连续跟踪方式，左右两侧车道线采用按需跟踪方式。依据前后多帧的识别结果对车道线进行跟踪。本发明以跟踪四条车道线为例，即当前车道所在两侧车道线，和临近车道所在左右两侧车道线。对当前车道线进行连续跟踪，对左右两侧车道线采用按需跟踪。因为，连续跟踪方式中的虚拟车道线的设置是考虑到车辆行驶在城市道路上，必然需要规范当前行驶方向的车道线。且车辆行驶在道路两侧时，左右两侧均无车道和车道线。因此，当前车道线采用连续跟踪，而左右两侧车道线采用按需跟踪。当然，本发明的方法可以很容易扩充到任意多条车道线跟踪。

结合图5所示，本发明所采用的跟踪算法是传统的卡尔曼滤波算法。跟踪的状态是车道线二次曲线模型参数，即参数方程x＝ay²+by+c中的(a,b,c)。具体来说，本发明中一共三个卡尔曼滤波跟踪器：1)当前车道线跟踪器，跟踪状态变量(a_l,b_l,c_l,a_r,b_r,c_r)，即当前车道左右两侧车道线模型参数；2)左侧车道的车道线跟踪器，跟踪状态变量(a^l,b^l,c^l)，按需跟踪，根据识别结果构建和删除；3)右侧车道的车道线跟踪器，跟踪状态变量(a^r,b^r,c^r)，按需跟踪，根据识别结果构建和删除。具体来说，对于主车道而言，如果从当前到往前是具有图片的，则不为空的情况，更新主卡尔曼滤波跟踪器，正常预测主车道线参数，对于左右两侧车道的车道线按照连续10帧是否具有车道线信息，如果为空，则新建左车道线卡尔曼滤波跟踪器，进行跟踪。并且还需判断左车道线卡尔曼滤波跟踪器是否为空，如果为空，那么创建左车道线卡尔曼滤波跟踪器，如果不为空，则利用左车道线卡尔曼滤波跟踪器进行跟踪，并且如果左车道线卡尔曼滤波跟踪器不为空或者连续10帧是否具有车道线信息不为空，均可以更新左车道线卡尔曼滤波跟踪器以便能对车道线进行预测。

S134：如果是，则提取车道线模型以实现车道线的识别。

在一些实施例中，如果每个连通域中的车道线仅存在与该连通域对应的一条车道线，则提取车道线模型以实现车道线的识别，具体包括：

S1341：提取连通域的关键点。

具体来说，对于单个连通域，可按照纵轴方向抽取固定数量的关键点，也可按照固定间距抽取关键点。这里的关键点是指在给定连通域中某一纵轴位置(y)，其所在横轴方向上(x)位置的均值。

S1342：根据关键点，检测连通域中的车道线是否包括共线的情况。

具体来说，连通域中的车道线存在车辆遮挡，或者是虚线的情况，同一条车道线可能会被分割为几部分。由此，需要进行车道线的连接。将多条共线的车道线连接后，才能够进行车道线的拟合和模型的提取。车道线共线检测算法相对来说比较复杂，由于车道线存在曲线的情况，即使是同一条车道线被分割为了多段，这些段之间也并不满足数学上严格的共线方程。

车道线检测共线的算法具体来说，判断两条线是否在图像纵轴方向上有交集。如果有，计算纵轴方向上交集大小与并集大小的关系值。如果关系值小于一个预设阈值，则判断两条线的关键点所构成凸包面积与两条线在纵轴方向上的最大长度的关系值是否小于另一个预设阈值，如果不是，则两条线没有共线，如果是，则两条线共线。具体来说，计算纵轴y方向上的IOU(交集大小÷并集大小)记为IOU_y，当IOU_y大于一定的阈值时，认为不可能发生共线；当IOU_y小于一定的阈值时，进一步判断是否包括共线情况。判断两条线段中的关键点所构成凸包的面积，除以两条线段在图像纵轴y方向上的最大长度是否小于一定的阈值。

S1343：如果包括共线的情况，合并共线的车道线的关键点以提取车道线模型。

结合图7所示，具体来说，如果连通域中的车道线存在共线的情况，则首先合并共线的车道线，并根据车道线上的关键点，即可采用二次曲线对车道线进行逼近拟合。常用方法有最小二乘法，或者直接调用Python中numpy库函数polyfit。由此得到车道线的二次曲线方程。

在一些实施例中，本方法还包括：检测车道线的数量和位置；根据检测结果和识别结果，分别对车道线的检测结果和识别结果进行评估。这种评估算法可以进一步促进神经网络模型和后处理算法的对比与改进。

车道线识别即判断图像中车道线的类别、数量以及位置。车道线检测只判断车道的数量及位置，不做分类。车道线检测结果可应用于ADAS系统进行车道线偏离检测，不需要车道线类别信息。而车道线识别结果则应用于智能交通、无人驾驶，用于辅助驾驶行为决策判断。因此，可以对车道线识别和检测进行评估，其中，评估指标可以为准确率及召回率。

具体包括：分别统计检测结果和识别结果的车道线数量；分别获取检测结果和识别结果的车道线数量的最大值；根据检测结果和识别结果的车道线数量的最大值，构造豪斯道夫距离费用矩阵；根据豪斯道夫距离费用矩阵获取检测结果的最优匹配和识别结果的最优匹配；根据最优匹配，分别获取准确率和召回率以对车道线的检测结果和识别结果进行评估。识别结果评估则采用最优匹配算法，对大量带标注数据进行测试，获取车道线识别系统得到的结果进行算法评估。

其中，准确率P和召回率R的计算公式如下，其中TP,FP,FN的含义参见表1。

P＝TP/(TP+FP) R＝TP/(TP+FN)

表1分类结果混淆矩阵

结合图8所示，以车道线评估车道线检测为例，采用匈牙利匹配算法求解车道线检测结果与标签数据之间的最优匹配，求解准确率P和召回率R。以车道线检测准确率求解为例，匈牙利匹配算法需要构造一个N乘以N的费用矩阵，N为车道线检测结果和标签数据二者中最大的车道线数量。那么，费用矩阵中第i行第j列的元素C_ij表示车道线检测结果中的第i条线与标签数据中第j条线之间进行匹配时的费用。本发明采用豪斯道夫距离表示该匹配费用。匈牙利匹配算法则是求解从检测结果到标签数据最优的一一对应关系。举例说明，假设对于某张图像，检测车道线数量是4，标签数据是3，则需要构造一个4×4的费用矩阵，即在标签数据中虚拟构造了一条车道线，而这条虚拟的车道线到任何检测车道线的费用均取一个足够大的整数。得到最优对应关系后，还需要进行阈值筛选。计算准确率P和召回率R分四种情况：1)当最优匹配的两条车道线的豪斯道夫距离小于一定的阈值时，则该匹配属于TP类；2)当最优匹配的两条车道线中，标签车道线是虚拟的，则认为该匹配属于FP类；3)当最优匹配的两条车道线中，检测车道线是虚拟的，则认为该匹配属于FN类；4)当最优匹配的两条车道线的标签数据和检测结果均不是虚拟的，且豪斯道夫距离大于阈值，则认为该匹配即属于FP类，又属于FN类。由此，首先计算某张图像中最优匹配的TP类数量，FP类的数量为检测结果中车道线的总数减去TP类数量，FN类的数量为标签中车道线的总数减去TP类数量。通过对大量测试数据进行测试，可以得到该车道线检测结果的准确率P和召回率R。识别结果的准确率和召回率的计算跟上面相似，仅需修改TP类的计算方式，即当最优匹配的两条车道线的豪斯道夫距离小于一定的阈值，且类别一致时，则该匹配属于TP类。而对于其识别结果的准确率和召回率仅需对算法图中的“每对最优匹配，比较匹配费用值是否小于阈值”修改为“每对最优匹配，比较匹配费用值是否小于阈值且类别相同”，这里不另做附图。并且，图8是对单幅图片的准确率和召回率的计算流程，对于多图数据集的准确率召回率计算需将所有图片的TP、FP、FN进行累加。

需要说明的是，上述提到的所有阈值，与且仅与神经深度学习方法设计相关，与天气、道路状态、光照强度等外界条件不相关。因此，一旦神经网络图像分割模块优化完毕(即算法的Loss不再下降，或者下降缓慢)，后面的处理的阈值参数调整可根据车道线评估的评估结果进行测试调整，得到实验状态下最优的车道线系统。

根据本发明的车道线识别方法，能够进行车道线类别的识别，其中包括路边、黄实线、黄虚线、白实线、白虚线这五种类别，从而可以提供车辆保持、变换车道以及精确定位所需要的信息，使车辆实现平稳和安全的运行。同样，在具有足够多标注样本的基础上，该方法可以通过增加网络输出的类别，扩展到更多类别的车道线识别。

图9是根据本发明一个实施例的车道线识别系统的结构图。

如图6所示，本发明一个实施例的车道线识别系统200，包括：获取模块210、神经网络模块220、后处理模块230。

其中，获取模块210用于获取车道线路信息图。神经网络模块220用于采用深度学习方法，对车道线路信息图中的每个像素进行分类，其中，像素的类别包括：路边、黄实线、黄虚线、白实线、白虚线。后处理模块230用于根据分类后的图像，提取车道线模型以实现车道线的识别。

根据本发明的车道线识别系统，能够进行车道线类别的识别，其中包括路边、黄实线、黄虚线、白实线、白虚线这五种类别，从而可以提供车辆保持、变换车道以及精确定位所需要的信息，使车辆实现平稳和安全的运行。同样，在具有足够多标注样本的基础上，该方法可以通过增加网络输出的类别，扩展到更多类别的车道线识别。

在一些实施例中，后处理模块230具体用于获取分类后的图像的连通域，检测每个连通域中是否仅包括与所述连通域对应的一条车道线，如果不是，则根据跟踪法提取车道线模型以实现车道线的识别，如果是，则提取车道线模型以实现车道线的识别。

在一些实施例中，后处理模块230具体用于根据当前时刻开始往前所有的车道线信息，并对车道线进行预测，提取预测后的车道线模型，根据所述车道线模型实现车道线的识别。

在一些实施例中，后处理模块230具体用于识别当前时刻开始往前预定时间内的车道线，并根据识别结果对当前车道线进行预测，提取预测后的车道线模型，根据所述车道线模型实现车道线的识别。

在一些实施例中，后处理模块230具体用于检测所述连通域的所有像素点数量之和与所述连通域的凸包面积的关系值是否大于第一预设值。

在一些实施例中，后处理模块230具体用于如果每个连通域仅包括一条车道线，则提取所述连通域的关键点，根据所述关键点，检测连通域中的车道线是否包括共线的情况，如果包括共线的情况，合并共线的车道线的关键点以提取车道线模型。

在一些实施例中，结合图10所示，还包括：评估模块240，用于检测车道线的数量和位置，并根据检测结果和识别结果，分别对车道线的检测结果和识别结果进行评估。

在一些实施例中，评估模块240具体用于分别统计检测结果和识别结果的车道线数量，分别获取所述检测结果和识别结果的车道线数量的最大值，根据所述检测结果和识别结果的车道线数量的最大值，构造豪斯道夫距离费用矩阵，根据所述豪斯道夫距离费用矩阵获取检测结果的最优匹配和识别结果的最优匹配，根据所述最优匹配，分别获取准确率和召回率以对车道线的检测结果和识别结果进行评估。

在一些实施例中，神经网络模块220是根据inception-v2优化网络连接，并根据Dropout_1b、Mixed_4f、Mixed3c进行深度学习。

需要说明的是，本发明实施例的车道线识别系统的具体实现方式与本发明实施例的车道线识别方法的具体实现方式类似，具体请参见车道线识别方法部分的描述，为了减少冗余，此处不做赘述。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种车道线识别方法，其特征在于，包括：

获取车道线路信息图；

采用深度学习方法，对所述车道线路信息图中的每个像素进行分类，其中，像素的类别包括：路边、黄实线、黄虚线、白实线、白虚线；

根据分类后的图像，提取车道线模型以实现车道线的识别；

检测车道线的数量和位置；

根据检测结果和识别结果，分别对车道线的检测结果和识别结果进行评估；所述根据检测结果和识别结果，分别对车道线的检测结果和识别结果进行评估，具体包括：

分别统计检测结果和识别结果的车道线数量；

分别获取所述检测结果和识别结果的车道线数量的最大值；

根据所述检测结果和识别结果的车道线数量的最大值，构造豪斯道夫距离费用矩阵；

根据所述豪斯道夫距离费用矩阵获取检测结果的最优匹配和识别结果的最优匹配；

根据所述最优匹配，分别获取准确率和召回率以对车道线的检测结果和识别结果进行评估。

2.根据权利要求1所述的车道线识别方法，其特征在于，所述根据分类后的图像，提取车道线模型以实现车道线的识别，具体包括：

获取分类后的图像的连通域；

检测每个连通域中是否仅包括与所述连通域对应的一条车道线；

如果不是，则根据跟踪法提取车道线模型以实现车道线的识别；

如果是，则提取车道线模型以实现车道线的识别。

3.根据权利要求2所述的车道线识别方法，其特征在于，所述根据跟踪法提取车道线模型以实现车道线的识别，具体包括：

根据当前时刻开始往前所有的车道线信息，对车道线进行预测；

提取预测后的车道线模型；

根据所述车道线模型实现车道线的识别。

4.根据权利要求2所述的车道线识别方法，其特征在于，所述根据跟踪法提取车道线模型以实现车道线的识别，具体包括：

识别当前时刻开始往前预定时间内的车道线，并根据识别结果对当前车道线进行预测；

提取预测后的车道线模型；

根据所述车道线模型实现车道线的识别。

5.根据权利要求2所述的车道线识别方法，其特征在于，检测每个连通域的关键点是否仅包括与所述连通域对应的一条车道线，具体包括：

检测所述连通域的所有像素点数量之和与所述连通域的凸包面积的关系值是否大于第一预设值。

6.根据权利要求2所述的车道线识别方法，其特征在于，所述提取车道线模型以实现车道线的识别，具体包括：

提取所述连通域的关键点；

根据所述关键点，检测连通域中的车道线是否包括共线的情况；

如果包括共线的情况，合并共线的车道线的关键点以提取车道线模型。

7.一种车道线识别系统，其特征在于，包括：

获取模块，用于获取车道线路信息图；

神经网络模块，用于采用深度学习方法，对所述车道线路信息图中的每个像素进行分类，其中，像素的类别包括：路边、黄实线、黄虚线、白实线、白虚线；

后处理模块，用于根据分类后的图像，提取车道线模型以实现车道线的识别；

评估模块，用于检测车道线的数量和位置，并根据检测结果和识别结果，分别对车道线的检测结果和识别结果进行评估；

所述评估模块具体用于分别统计检测结果和识别结果的车道线数量，分别获取所述检测结果和识别结果的车道线数量的最大值，根据所述检测结果和识别结果的车道线数量的最大值，构造豪斯道夫距离费用矩阵，根据所述豪斯道夫距离费用矩阵获取检测结果的最优匹配和识别结果的最优匹配，根据所述最优匹配，分别获取准确率和召回率以对车道线的检测结果和识别结果进行评估。

8.根据权利要求7所述的车道线识别系统，其特征在于，所述后处理模块具体用于获取分类后的图像的连通域，检测每个连通域中是否仅包括与所述连通域对应的一条车道线，如果不是，则根据跟踪法提取车道线模型以实现车道线的识别，如果是，则提取车道线模型以实现车道线的识别。

9.根据权利要求8所述的车道线识别系统，其特征在于，所述后处理模块具体用于根据当前时刻开始往前所有的车道线信息，对车道线进行预测，提取预测后的车道线模型，根据所述车道线模型实现车道线的识别。

10.根据权利要求8所述的车道线识别系统，其特征在于，所述后处理模块具体用于识别当前时刻开始往前预定时间内的车道线，并根据识别结果对当前车道线进行预测，提取预测后的车道线模型，根据所述车道线模型实现车道线的识别。

11.根据权利要求8所述的车道线识别系统，其特征在于，所述后处理模块具体用于检测所述连通域的所有像素点数量之和与所述连通域的凸包面积的关系值是否大于第一预设值。

12.根据权利要求8所述的车道线识别系统，其特征在于，所述后处理模块具体用于如果每个连通域仅包括一条车道线，则提取所述连通域的关键点，根据所述关键点，检测连通域中的车道线是否包括共线的情况，如果包括共线的情况，合并共线的车道线的关键点以提取车道线模型。

13.根据权利要求7所述的车道线识别系统，其特征在于，所述神经网络模块是根据inception-v2优化网络连接，并根据Dropout_1b、Mixed_4f、Mixed3c进行深度学习。

Images