CN110136222A - 虚拟车道线生成方法、装置及系统 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，公开了一种虚拟车道线生成方法，所述方法包括：获取当前道路图像，所述方法还包括：将所述当前道路图像输入预先训练的CNN，得到当前道路上的虚拟车道中心线；根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。同时还公开了一种虚拟车道线生成装置，以及对应的系统。本发明的实施方式能够在没有车道线或者车道线不清晰的场景下，生成虚拟车道线供自动驾驶系统参考，以至少解决该场景下自动驾驶系统无法稳定沿着道路行驶的问题。

Description

虚拟车道线生成方法、装置及系统

技术领域

本发明涉及自动驾驶技术领域，具体地涉及一种虚拟车道线生成方法、装置、系统及存储介质。

背景技术

车道保持是自动驾驶系统的基本功能之一。该功能是利用感知模块识别出道路上的车道线位置，并由控制系统根据车辆在当前车道内的相对位置对车的转向进行动态调整，使车能够保持在当前车道内平稳行驶。

一般来说车道线检测都是使用车载相机采集连续的视频数据，并对视频的每一帧单独进行车道线检测。目前主流的检测方法是基于卷积神经网络(CNN)技术，采集大量道路图片并在图片中标注出车道线，再使用标注数据对CNN进行训练；训练好的CNN网络模型可以对单张图片上的车道线进行检测。但是目前这种车道线检测方法，对图像中的车道线清晰程度要求较高，在一些特殊场景(例如雪天、新修道路、车道线磨损等)，车道线有可能不存在，或者非常模糊。此时感知模块的车道线检测结果不稳定，为控制系统提供的车道线信息不再准确，导致车辆出现蛇行(左右摇摆)，甚至冲出道路边缘。在这种情况下如果要继续使用自动驾驶系统，就需要在没有车道线的道路上假想出若干条车道线，并使车辆保持在虚拟车道线内行驶而不至于左右摇摆或冲出道路边缘。目前在无车道线或车道线模糊的场合下，若采用高精定位技术，则会受到定位信号(如GPS信号)强度的影响，不能获取到满意的定位精度，会导致车辆表现出严重的蛇行；若直接采用CNN网络进行车辆控制，则由于CNN训练数据集不能覆盖所有场景，因此不能达到100％的可靠性。

发明内容

本发明的目的是利用卷积神经网络提供一种虚拟车道线的生成方法，以至少解决在没有车道线的道路上，需要为车辆提供虚拟车道线作为参照的问题。

为了实现上述目的，本发明第一方面实施例提供一种虚拟车道线生成方法，包括：获取当前道路图像，所述方法还包括：

将所述当前道路图像输入预先训练的CNN，得到当前道路上的虚拟车道中心线；

根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。

可选的，所述预先训练的CNN的训练样本为带虚拟车道中心线的图像。

可选的，所述带虚拟车道中心线的图像通过以下方式获得：

在有车道线的图像中，取相邻两条车道线的中间线作为车道中心线，去除所述车道线，得到所述带虚拟车道中心线的图像；

在没有车道线的图像中，利用高精定位方式获取车辆位置，将选定时刻之后的多个车辆位置投影到所述选定时刻对应的图像中，以所述多个车辆位置形成行驶轨迹，并以所述行驶轨迹的中心线作为车道中心线，得到所述带虚拟车道中心线的图像。

可选的，所述预先训练的CNN包括若干卷积层，所述若干卷积层中包括至少一个2D卷积层和至少一个3D卷积层，所述2D卷积层均在所述3D卷积层之前，所述预先训练的CNN的前半段包括所有的2D卷积层，所述预先训练的CNN的后半段包括所有的3D卷积层。

可选的，所述方法还包括：设置缓存队列，所述缓存队列用于缓存所述预先训练的CNN的前半段计算完的特征图，并供所述预先训练的CNN的后半段读取。

可选的，当新的特征图需要加入所述缓存队列且所述缓存队列达到容量上限时，移除最先加入缓存队列的特征图，并将所述新的特征图加入所述缓存队列。

可选的，所述根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线，包括：

对所述虚拟车道中心线和/或当前道路的车道宽度进行调整；

根据调整后的虚拟车道中心线和车道宽度得到虚拟车道线。

可选的，所述对所述虚拟车道中心线进行调整，包括：依照道路边缘对所述虚拟车道中心线进行调整。

可选的，所述道路边缘来自于所述预先训练的CNN的输出。

可选的，所述依照道路边缘对所述虚拟车道中心线进行调整，包括：

根据道路边缘计算道路的宽度和曲率；

以所述道路宽度对所述虚拟车道中心线的位置进行调整，和

以所述道路曲率对所述虚拟车道中心线的曲率进行调整。

可选的，所述对当前道路的车道宽度进行调整，包括：

设定车道宽度的取值范围，所述取值范围以标准车道宽度为基准；

根据当前道路宽度对当前车道宽度进行调整；

当车道宽度变化至小于所述取值范围的最小值时，减少车道数量；当车道宽度变化至大于所述取值范围的最大值时，增加车道数量；

所述方法还包括：在车道数量改变的同时对车道中心线做平滑处理。

可选的，所述根据当前道路宽度对当前车道宽度进行调整，包括：

在道路宽度发生变化时，按照保持距左侧或右侧相同距离，或者距左右两侧距离相同比例的方式调整所述车道宽度。

可选的，所述根据所述虚拟车道中心线和车道宽度得到虚拟车道线，包括：

以所述虚拟车道中心线为基准，并以所述车道宽度生成多条所述虚拟车道线。

在本发明的第二方面，还提供一种虚拟车道线生成装置，所述装置包括：存储器和处理器；

所述存储器，用于存储程序指令；所述处理器，用于调用所述存储器中存储的所述程序指令以实现如前述的虚拟车道线生成方法，得到当前道路上的虚拟车道线。

在本发明的第三方面，还提供一种虚拟车道线生成系统，所述系统包括：包括图像获取模块，所述图像获取模块被配置为获取当前道路图像；所述系统还包括：

样本训练模块，所述样本训练模块被配置为用带虚拟车道中心线的图像作为训练样本训练CNN，得到预先训练的CNN；

虚拟车道中心线生成模块，所述虚拟车道中心线生成模块被配置为将所述当前道路图像输入所述预先训练的CNN，得到当前道路上的虚拟车道中心线；

虚拟车道线生成模块，所述虚拟车道中心线生成模块被配置为根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。

在本发明的第四方面，还提供一种自动驾驶汽车，所述汽车包括前述的虚拟车道线生成装置或者前述的虚拟车道线生成系统。

在本发明的第五方面，还提供一种计算机可读存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述的虚拟车道线生成方法。

通过上述技术方案，本发明提供了一种虚拟车道线生成方法，本发明的实施方式能够在没有车道线或者车道线不清晰的场景下，生成虚拟车道线供自动驾驶系统参考，以至少解决该场景下自动驾驶系统无法稳定沿着道路行驶的问题。该实施方式尤其是不依赖高精定位，因此不受GPS信号强弱的影响，可提高自动驾驶的适应能力，降低蛇行或退出等问题发生的概率。

附图说明

图1是本发明一种实施方式提供的虚拟车道线生成方法的流程示意图；

图2是本发明一种实施方式提供的CNN网络结构示意图；

图3是本发明一种实施方式提供的虚拟车道线位置关系示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

图1是本发明一种实施方式提供的虚拟车道线生成方法的流程示意图。如图1所示，一种虚拟车道线生成方法，包括：获取当前道路图像(图中未示出)，所述方法还包括：

将所述当前道路图像输入预先训练的CNN，得到当前道路上的虚拟车道中心线；根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。

如此，本发明的实施方式能够在没有车道线或者车道线不清晰的场景下，生成虚拟车道线供自动驾驶系统参考，以至少解决该场景下自动驾驶系统无法稳定沿着道路行驶的问题。该实施方式尤其是不依赖高精定位，因此不受GPS信号强弱的影响，可提高自动驾驶的适应能力，降低蛇行或退出等问题发生的概率。

具体的，常用的2D-CNN(2D卷积神经网络)用于图像识别和车道线识别已属于现有技术，3D-CNN(3D卷积神经网络)之所以能够处理运动信息，是因为其能够处理输入的多张历史帧图像(约十几帧)，从而能利用时序信息生成连续变化的趋势，进而根据变化的趋势，能够对车辆的行驶轨迹给出预测，进而得出虚拟的车道线。其训练样本为带虚拟车道中心线的图像。

以下简述本发明实施例所使用的CNN的网络结构，图2是本发明一种实施方式提供的CNN网络结构示意图，如附图2所示，所述预先训练的CNN包括若干卷积层，所述若干卷积层中包括至少一个2D卷积层和一个3D卷积层，所述2D卷积层均在所述3D卷积层之前，所述CNN的前半段包括所有的2D卷积层，所述CNN的后半段包括所有的3D卷积层。此处的3D-CNN并不是一个全3D的网络结构，而是使用2D-CNN和3D-CNN相结合的方式，网络结构的前半段使用2D-CNN提取特征图，再把特征图再送到后半段的3D-CNN中。此处的前半段和后半段的数目可以根据实际的数据输入情况而进行调整，本实施方式中共14个卷积层，采用了前9后5的划分。前conv1至conv 9为前面9个卷积层，构成了网络结构的前半段2D-CNN，后面的conv1-3D至conv5-3D为后面5个卷积层，构成了网络结构的后半段3D-CNN，其中网络中的池化层、全连接层及激活函数(Relu)采用现有技术中的已有函数，此处不再列举。实际上，本CNN最后回归出的输入结果是点，由于本实施例输入的不再是单张图片，而是连续的多张图片，对应的其输出的也是连续的多个点，该多个点组成了一条线，该线即为虚拟车道中心线。

进一步的，所述CNN的训练需要大量虚拟车道线标注数据，也就是标注了“虚拟车道中心线”的图片。如果直接对大量的图片进行数据标注是很困难的，不仅该标准的工作量很大，而且标注人员无法在没有车道线的图像上精确给出“虚拟车道中心线”的位置，因此，此处优选以下方式以获取所述带虚拟车道中心线的图像，包括：

在有车道线的图像中，取相邻两条车道线的中间线为车道中心线，并去除所述车道线，得到图像；具体的，在有车道线的道路上采集数据，采集时通过车载相机录制视频，司机通过控制使车辆大约保持在车道线中心，可收集大量带有车道线的连续帧图像，并通过图像识别或手工标注将图像中的车道线标出来。车道线标好后，通过程序取左右两条车道线的中心，计算出“车道线中心线”。此时的图像是有车道线的，不符合我们的要求，我们利用图像处理工具将车道线位置的像素用周围像素取代，实现“去除车道线”。这样就能得到没有车道线但有中心线的标注数据。

在没有车道线的图像中，利用高精定位方式获取车辆位置，将选定时刻之后的多个车辆位置投影到所述选定时刻对应的图像中，以所述多个车辆位置形成行驶轨迹，并以所述行驶轨迹的中心线作为车道中心线，得到图像。具体的，在没有车道线的道路上采集数据。采集时利用自动驾驶汽车录制视频，司机尽量保持直线行驶，并打开自动驾驶系统的高精定位功能。采集完数据后，将高精定位信息解算出来并将未来帧车辆的位置投影到当前帧，获取到当前帧上车辆的未来行驶轨迹，从而标注出车辆在当前图像上，未来的行驶轨迹作为“虚拟车道线中心线”。

具体的，由于本实施方式中的CNN每次输出很多张图像，运行速度会比普通的CNN慢很多。为了保证实时性，需要对所述CNN进行一些改造以提高运行速度。本方案使用2D-CNN和3D-CNN相结合的方式，网络结构的前半段使用2D-CNN提取特征图，再把特征图再送到后半段的3D-CNN中。

因此，所述方法还包括：设置缓存队列，所述缓存队列用于缓存所述CNN的前半段计算完的特征图，并供所述CNN的后半段读取。如图2所示当新的特征图需要加入所述缓存队列，且所述缓存队列达到容量上限时，移除最先加入缓存队列的特征图，并将所述新的特征图加入所述缓存队列。所述缓存队列的容量上限为10张特征图。由于3D-CNN需要用到多张图片的2D-CNN特征图，因此设置一个缓存队列，并在开始时初始化10个空特征图；每次网络前半段计算完特征图就会加入缓存队列，并将最老的特征图删除。3D-CNN网络把缓存队列中的全部特征图依次输入网络，并计算出最终的输出。使用这种网络结构和计算流程，与普通的2D-CNN相比并没有增加太多的计算量，因此可解决3D-CNN计算量巨大不能实时的问题，但又能处理时序信息。

在本发明提供的一种实施方式中，图3是本发明一种实施方式提供虚拟车道线位置关系示意图，如图3所示，所述根据所述虚拟车道中心线得到虚拟车道线，包括：对所述虚拟车道中心线和/或车道宽度进行调整；根据所述虚拟车道中心线和车道宽度得到虚拟车道线。由于得到虚拟车道线需要两个条件，即虚拟车道中心线和车道宽度，因此需要根据实际的道路环境对两个条件进行一定的修正，以使生成的虚拟车道线能够更加符合当前的道路环境。以下分别对虚拟车道中心线和车道宽度的两方面的修正进行陈述。

在第一方面，所述依照道路边缘对所述虚拟车道中心线进行调整，包括：根据道路边缘计算道路的宽度和曲率；以所述道路宽度对所述虚拟车道中心线的位置进行调整，和以所述道路曲率所述虚拟车道中心线的曲率进行调整。

进一步的，所述对所述虚拟车道中心线进行调整，包括：依照道路边缘对所述虚拟车道中心线进行调整；所述道路边缘可以来自于所述CNN的输出。由于CNN对行驶轨迹的预测不能达到100％准确，如果只使用这一个信息来生成虚拟车道线稳定性较差。方案中的CNN不仅对车辆的行驶轨迹进行预测，而且还检测道路边缘(路沿)。几乎所有道路(即使没有车道线)都会有一个边缘，因此检测路沿可适用的场景比检测车道线要广泛的多。路沿与虚拟车道中心线同时使用并互相校正，可解决只使用虚拟车道中心线不稳定的问题。利用左右两条路沿，可以计算出当前道路的宽度以及道路的曲率，利用预测的车道中心线，可得出当前车辆在道路中的实际位置，两者结合可输出虚拟车道线。

在第二方面，所述对所述车道宽度进行调整，包括：设定车道宽度的取值范围，所述取值范围以标准车道宽度为基准，并根据当前道路宽度对当前车道宽度进行调整，当车道宽度变化至小于所述取值范围的最小值时，减少车道数量；当车道宽度变化至大于所述取值范围的最大值时，增加车道数量，同时在车道数量改变时对车道中心线做平滑处理。

具体的，虚拟车道线的输出，应当尽量使车辆保持和人类司机大致相同的行驶习惯。在道路宽度已知的情况下，再利用标准的车道线宽度(一般为3.75米)就可以生成多条车道线，从而使汽车保持在其中一条车道线。但实际道路宽度是不断变化的，会慢慢变窄或者慢慢变宽。如果按照固定的车道线宽度生成虚拟车道线，将会出现车道线位置的跳变，例如在道路慢慢变窄的情况下，在某一时刻可容纳的标准车道由4条变为3条，此时车道线的位置也会与4条时明显不同，这会导致自动驾驶系统大幅调整汽车在当前道路上的横向位置，乘客体验不好。因此本方案采用以下自适应的方法解决该问题：生成虚拟车道线时根据道路宽度变化的趋势，调整虚拟车道的宽度，也就是生成的车道宽度不是保持在固定的3.75米而是根据道路宽度动态变化；当通过调整车道宽度到达一定阈值(宽度下限或上限)时，就改变车道数量，但改变车道数量时需对车道中心线做平滑处理，保证虚拟车道线的输出不发生剧烈变化。

进一步的，所述根据当前道路宽度对当前车道宽度进行调整，包括：在道路宽度发生变化时，按照保持距左侧或右侧相同距离，或者距左右两侧距离相同比例的方式调整所述车道宽度。在道路宽度发生变化时，同时需要对车道宽度进行相应的变宽或变窄。此处的宽度变化有两种方式，一是保存单侧的相同距离，同时在安全范围内调整另一侧的距离，以实现车道宽度的变化，二是，同时调整左右两侧的距离，按照左右两侧保持相同的比例。以上两种方式能够适应不同的应用场景，避免单一调整方式在不同场景中造成安全隐患。

在本发明的一种可选的实施方式中，所述根据所述虚拟车道中心线和车道宽度得到虚拟车道线，包括：以所述虚拟车道中心线为基准，并以所述车道宽度生成多条所述虚拟车道线。本实施方式中不仅是生成当前车辆所在车道的车道线，还能根据当前的道路宽度，车道线中心位置和车道宽度生成多条所述虚拟车道线，以提供车辆的其余可行驶路径，以备车辆的自动驾驶系统进行优选。

本发明的一种实施方式还提供一种虚拟车道线生成装置，所述装置包括：存储器和处理器；所述存储器，用于存储程序指令；所述处理器，用于调用所述存储器中存储的所述程序指令以实现如前述的虚拟车道线生成方法，得到当前道路上的虚拟车道线。所述装置通常为可编程器件，具有程序执行功能，能根据当前道路情况，执行前述的虚拟车道线生成方法，得到当前道路上的虚拟车道线。

本发明的另外一种可选实施方式还提供一种虚拟车道线生成装置，所述装置包括：包括：图像获取模块，用于获取当前道路图像，所述装置还包括：

虚拟车道中心线生成模块，所述虚拟车道中心线生成模块用于将所述当前道路图像输入预先训练的CNN，得到当前道路上的虚拟车道中心线；

虚拟车道线生成模块，所述虚拟车道线生成模块用于根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。

虚拟车道中心线生成模块中的所述预先训练的CNN的训练样本为带虚拟车道中心线的图像，所述带虚拟车道中心线的图像通过以下方式获得：

在有车道线的图像中，取相邻两条车道线的中间线作为车道中心线，去除所述车道线，得到所述带虚拟车道中心线的图像；

在没有车道线的图像中，利用高精定位方式获取车辆位置，将选定时刻之后的多个车辆位置投影到所述选定时刻对应的图像中，以所述多个车辆位置形成行驶轨迹，并以所述行驶轨迹的中心线作为车道中心线，得到所述带虚拟车道中心线的图像。

虚拟车道中心线生成模块中的预先训练的CNN包括若干卷积层，所述若干卷积层中包括至少一个2D卷积层和至少一个3D卷积层，所述2D卷积层均在所述3D卷积层之前，所述预先训练的CNN的前半段包括所有的2D卷积层，所述预先训练的CNN的后半段包括所有的3D卷积层。

虚拟车道中心线生成模块还包括缓存队列，所述缓存队列用于缓存所述预先训练的CNN的前半段计算完的特征图，并供所述预先训练的CNN的后半段读取。当新的特征图需要加入所述缓存队列且所述缓存队列达到容量上限时，移除最先加入缓存队列的特征图，并将所述新的特征图加入所述缓存队列。

所述根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线，包括：

对所述虚拟车道中心线和/或当前道路的车道宽度进行调整；

根据调整后的虚拟车道中心线和车道宽度得到虚拟车道线。

虚拟车道线生成模块，用于对所述虚拟车道中心线进行调整，包括：依照道路边缘对所述虚拟车道中心线进行调整。所述道路边缘来自于所述预先训练的CNN的输出。

虚拟车道线生成模块，还用于依照道路边缘对所述虚拟车道中心线进行调整，包括：

根据道路边缘计算道路的宽度和曲率；以所述道路宽度对所述虚拟车道中心线的位置进行调整，和以所述道路曲率对所述虚拟车道中心线的曲率进行调整。

虚拟车道线生成模块，还用于对当前道路的车道宽度进行调整，包括：

设定车道宽度的取值范围，所述取值范围以标准车道宽度为基准；根据当前道路宽度对当前车道宽度进行调整；当车道宽度变化至小于所述取值范围的最小值时，减少车道数量；当车道宽度变化至大于所述取值范围的最大值时，增加车道数量；

所述虚拟车道线生成模块，还用于在车道数量改变的同时对车道中心线做平滑处理。

虚拟车道线生成模块，还用于根据当前道路宽度对当前车道宽度进行调整，包括：

在道路宽度发生变化时，按照保持距左侧或右侧相同距离，或者距左右两侧距离相同比例的方式调整所述车道宽度。

虚拟车道线生成模块，还用于根据所述虚拟车道中心线和车道宽度得到虚拟车道线，包括：

以所述虚拟车道中心线为基准，并以所述车道宽度生成多条所述虚拟车道线。

本发明的一种实施方式还提供一种虚拟车道线生成系统，所述系统包括：

图像获取模块，所述图像获取模块被配置为获取当前道路图像；该模块通常是安装于汽车前部或顶部的摄像装置；

样本训练模块，所述样本训练模块被配置为用带虚拟车道中心线的图像作为训练样本训练CNN，得到预先训练的CNN；

以及前述的虚拟车道中心线生成模块和虚拟车道线生成模块。

此处的样本训练模块、虚拟车道中心线生成模块和虚拟车道线生成模块为程序模块，可以是自动驾驶系统的子系统，也可以与自动驾驶系统中的处理器合并设置。在合并设置时，此处的样本训练模块、虚拟车道中心线生成模块和虚拟车道线生成模块为处理器的一个处理进程，用于提供虚拟的车道线供自动驾驶系统参考。

本发明的一种实施方式还提供一种自动驾驶汽车，所述汽车包括如前述的虚拟车道线生成装置或者前述的虚拟车道线生成系统。在自动驾驶汽车中采用前述的装置或系统，使自动驾驶汽车能够，随着交通技术的进一步发展，本虚拟车道线生成装置或系统还能将生成的虚拟车道线投影或合成至驾驶人员的道路视野中，让驾驶人员在无车道线的道路上看到计算出的车道线。

相应的，本发明的实施方式还提供一种计算机可读存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述的虚拟车道线生成方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (17)

1.一种虚拟车道线生成方法，包括：获取当前道路图像，其特征在于，所述方法还包括：

将所述当前道路图像输入预先训练的CNN，得到当前道路上的虚拟车道中心线；

根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。

2.根据权利要求1所述的方法，其特征在于，所述预先训练的CNN的训练样本为带虚拟车道中心线的图像。

3.根据权利要求2所述的方法，其特征在于，所述带虚拟车道中心线的图像通过以下方式获得：

在有车道线的图像中，取相邻两条车道线的中间线作为车道中心线，去除所述车道线，得到所述带虚拟车道中心线的图像；

在没有车道线的图像中，利用高精定位方式获取车辆位置，将选定时刻之后的多个车辆位置投影到所述选定时刻对应的图像中，以所述多个车辆位置形成行驶轨迹，并以所述行驶轨迹的中心线作为车道中心线，得到所述带虚拟车道中心线的图像。

4.根据权利要求3所述的方法，其特征在于，所述预先训练的CNN包括若干卷积层，所述若干卷积层中包括至少一个2D卷积层和至少一个3D卷积层，所述2D卷积层均在所述3D卷积层之前，所述预先训练的CNN的前半段包括所有的2D卷积层，所述预先训练的CNN的后半段包括所有的3D卷积层。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：设置缓存队列，所述缓存队列用于缓存所述预先训练的CNN的前半段计算完的特征图，并供所述预先训练的CNN的后半段读取。

6.根据权利要求5所述的方法，其特征在于，当新的特征图需要加入所述缓存队列且所述缓存队列达到容量上限时，移除最先加入缓存队列的特征图，并将所述新的特征图加入所述缓存队列。

7.根据权利要求1所述的方法，其特征在于，所述根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线，包括：

对所述虚拟车道中心线和/或当前道路的车道宽度进行调整；

根据调整后的虚拟车道中心线和车道宽度得到虚拟车道线。

8.根据权利要求7所述的方法，其特征在于，所述对所述虚拟车道中心线进行调整，包括：依照道路边缘对所述虚拟车道中心线进行调整。

9.根据权利要求8所述的方法，其特征在于，所述道路边缘来自于所述预先训练的CNN的输出。

10.根据权利要求8所述的方法，其特征在于，所述依照道路边缘对所述虚拟车道中心线进行调整，包括：

根据道路边缘计算道路的宽度和曲率；

以所述道路宽度对所述虚拟车道中心线的位置进行调整，和

以所述道路曲率对所述虚拟车道中心线的曲率进行调整。

11.根据权利要求10所述的方法，其特征在于，所述对当前道路的车道宽度进行调整，包括：

设定车道宽度的取值范围，所述取值范围以标准车道宽度为基准；

根据当前道路宽度对当前车道宽度进行调整；

当车道宽度变化至小于所述取值范围的最小值时，减少车道数量；当车道宽度变化至大于所述取值范围的最大值时，增加车道数量；

所述方法还包括：在车道数量改变的同时对车道中心线做平滑处理。

12.根据权利要求11所述的方法，其特征在于，所述根据当前道路宽度对当前车道宽度进行调整，包括：

在道路宽度发生变化时，按照保持距左侧或右侧相同距离，或者距左右两侧距离相同比例的方式调整所述车道宽度。

13.根据权利要求12所述的方法，其特征在于，所述根据所述虚拟车道中心线和车道宽度得到虚拟车道线，包括：

以所述虚拟车道中心线为基准，并以所述车道宽度生成多条所述虚拟车道线。

14.一种虚拟车道线生成装置，其特征在于，所述装置包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于调用所述存储器中存储的所述程序指令以实现如权利要求1-13中任一项所述的虚拟车道线生成方法，得到当前道路上的虚拟车道线。

15.一种虚拟车道线生成系统，所述系统包括图像获取模块，所述图像获取模块被配置为获取当前道路图像；其特征在于，所述系统还包括：

样本训练模块，所述样本训练模块被配置为用带虚拟车道中心线的图像作为训练样本训练CNN，得到预先训练的CNN；

虚拟车道中心线生成模块，所述虚拟车道中心线生成模块被配置为将所述当前道路图像输入所述预先训练的CNN，得到当前道路上的虚拟车道中心线；

虚拟车道线生成模块，所述虚拟车道中心线生成模块被配置为根据所述虚拟车道中心线和当前道路的车道宽度得到虚拟车道线。

16.一种自动驾驶汽车，其特征在于，所述汽车包括权利要求14所述的虚拟车道线生成装置或者权利要求15所述的虚拟车道线生成系统。

17.一种计算机可读存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-13中任一项所述的虚拟车道线生成方法。