CN109711341B - 一种虚拟车道线识别方法及装置、设备、介质 - Google Patents

Abstract

本申请公开了一种虚拟车道线识别方法及装置、设备、介质。该方法至少包括：获取多个预定类别的道路样本图像；调整虚拟车道线类别对应的训练权重，训练机器学习模型，以在第一训练阶段内偏重针对其他类别训练；调整其他类别对应的训练权重，再训练机器学习模型，以在第二训练阶段内偏重针对虚拟车道线类别训练；利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。本申请通过利用虚拟车道线代替栅栏、凸型屏障、路沿等要素，来界定应急车道的一侧边界，能够简化模型训练所需针对的类别，不仅如此，在训练模型时，还通过调整类别的训练权重，使得包括虚拟车道线类别在内的各类别都能够得到充分训练，有利于更准确地识别车道线。

Description

一种虚拟车道线识别方法及装置、设备、介质

技术领域

本申请涉及机器学习技术领域，尤其涉及一种虚拟车道线识别方法及装置、设备、介质。

背景技术

在高精度地图的制作过程中，车道线识别是一项重要的内容。常见的车道线包括路面上出现的白线或者黄线，虚线或者实线等。现有的车道线检测方案，主要流程包括：对待识别图像进行二值化，再通过使用霍夫变换等方法检测直线以识别出车道线。

在实际应用中，道路边界并不全部使用车道线界定，其中，一种比较典型的场景是应急车道。通常可以看到，应急车道的右边界常用栅栏、凸型屏障、路沿等要素界定，而非交管部门在路面上绘制的车道线。

因此，仅仅进行常规的车道线检测，难以界定应急车道的右边界，如果使用栅栏、凸型屏障、路沿等要素界定，也存在要素多考虑不全，要素本身界定困难问题。

发明内容

本申请实施例提供一种虚拟车道线识别方法及装置、设备、介质，用以解决现有技术中的如下技术问题：利用现有的车道线检测方案，仅仅进行常规的车道线检测，难以界定应急车道的右边界，如果使用栅栏、路沿、凸型屏障等要素界定，也存在要素多考虑不全，要素本身界定困难问题。

本申请实施例采用下述技术方案：

一种虚拟车道线识别方法，包括：

获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界；

调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型，以在第一训练阶段内偏重针对所述其他类别训练；

调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练；

利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

可选地，所述指定车道包括应急车道，所述虚拟车道线用于界定所述应急车道的其中一侧边界，所述其中一侧边界处不包含真实车道线。

可选地，所述虚拟车道线与用于界定所述应急车道的另一侧边界的真实车道线宽度一致。

可选地，所述其中一侧边界处包含以下至少一种要素：栅栏、路沿、凸型屏障。

可选地，所述虚拟车道线位于所述要素靠近所述应急车道的一侧，且位于所述应急车道的路面上。

可选地，所述预定类别包括路面类别，所述虚拟车道线位于路面上；

在所述第二训练阶段后，所述方法还包括：

至少调整所述虚拟车道线类别和所述路面类别以外的类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在第三训练阶段内偏重针对所述虚拟车道线类别和所述路面类别训练，并利用第三训练阶段训练后的所述机器学习模型，在待识别图像中识别虚拟车道线。

可选地，将所述虚拟车道线类别对应的训练权重调整为0，以在第一训练阶段内不针对所述虚拟车道线类别训练；

所述调整所述其他类别对应的训练权重，具体包括：

调整所述其他类别对应的训练权重和所述虚拟车道线类别对应的训练权重，使得调整后的所述其他类别对应的训练权重大于0，且远小于调整后的所述虚拟车道线类别对应的训练权重，以在第二训练阶段内相应减少针对所述其他类别的训练。

可选地，在所述训练机器学习模型前，所述方法还包括：

适应于所述虚拟车道线的定义方式，在所述道路样本图像中标注虚拟车道线，所述标注得到的信息用于对所述机器学习模型的有监督训练。

可选地，所述机器学习模型包括基于卷积神经网络的图像语义分割模型。

一种虚拟车道线识别装置，包括：

样本图像获取模块，获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界；

第一调整训练模块，调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型，以在第一训练阶段内偏重针对所述其他类别训练；

第二调整训练模块，调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练；

虚拟车道线识别模块，利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

可选地，所述指定车道包括应急车道，所述虚拟车道线用于界定所述应急车道的其中一侧边界，所述其中一侧边界处不包含真实车道线。

可选地，所述虚拟车道线与用于界定所述应急车道的另一侧边界的真实车道线宽度一致。

可选地，所述其中一侧边界处包含以下至少一种要素：栅栏、路沿、凸型屏障。

可选地，所述虚拟车道线位于所述要素靠近所述应急车道的一侧，且位于所述应急车道的路面上。

可选地，所述预定类别包括路面类别，所述虚拟车道线位于路面上；所述装置还包括：

第三调整训练模块，在所述第二训练阶段后，至少调整所述虚拟车道线类别和所述路面类别以外的类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在第三训练阶段内偏重针对所述虚拟车道线类别和所述路面类别训练，并利用第三训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

可选地，所述第一调整训练模块调整所述虚拟车道线类别对应的训练权重，具体包括：

所述第一调整训练模块将所述虚拟车道线类别对应的训练权重调整为0，以在第一训练阶段内不针对所述虚拟车道线类别训练；

所述第二调整训练模块调整所述其他类别对应的训练权重，具体包括：

所述第二调整训练模块调整所述其他类别对应的训练权重和所述虚拟车道线类别对应的训练权重，使得调整后的所述其他类别对应的训练权重大于0，且远小于调整后的所述虚拟车道线类别对应的训练权重，以在第二训练阶段内相应减少针对所述其他类别的训练。

可选地，所述装置还包括：

虚拟车道线标注模块，在所述训练机器学习模型前，适应于所述虚拟车道线的定义方式，在所述道路样本图像中标注虚拟车道线，标注得到的信息用于对所述机器学习模型的有监督训练。

可选地，所述机器学习模型包括基于卷积神经网络的图像语义分割模型。

一种虚拟车道线识别设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界；

调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型，以在第一训练阶段内偏重针对所述其他类别训练；

调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练；

利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

一种虚拟车道线识别非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界；

调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型，以在第一训练阶段内偏重针对所述其他类别训练；

调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练；

利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：通过利用虚拟车道线代替栅栏、凸型屏障、路沿等要素，来界定诸如应急车道等特定车道的至少一侧边界，能够简化模型训练所需针对的类别，不仅如此，在训练模型时，还通过调整类别的训练权重，使得包括虚拟车道线类别在内的各类别都能够得到充分训练，有利于使用训练好的模型更准确地识别车道线。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请的一些实施例提供的一种虚拟车道线识别方法的流程示意图；

图2为本申请的一些实施例提供的一种虚拟车道线示意图；

图3为本申请的一些实施例提供的上述虚拟车道线识别方法的一种详细流程示意图；

图4为本申请的一些实施例提供的对应于图1的一种虚拟车道线识别装置的结构示意图；

图5为本申请的一些实施例提供的对应于图1的一种虚拟车道线识别设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的一些实施例中，针对诸如应急车道等特定车道的至少一侧边界可能没有常规的车道线(指交通部门在路面上绘制的车道线，下面也可称为真实车道线)的情况，提出了一种虚拟车道线，用于界定该至少一侧边界，以便于机器识别。该至少一侧边界在实际生活中往往是由栅栏、凸型屏障、路沿等要素界定，不便于机器识别。

进一步地，虚拟车道线可以用路面的一部分进行虚拟表示，在这种情况下，虚拟车道线像素与路面像素一致，缺乏明显的特征依据，不利于模型针对虚拟车道线类别训练，这对这种情况，还提出了一种模型训练方案，有利于针对虚拟车道线类别充分训练。

下面对本申请的方案进行详细说明。

图1为本申请的一些实施例提供的一种虚拟车道线识别方法的流程示意图。在该流程中，从设备角度而言，执行主体可以是一个或者多个计算设备，比如，单个机器学习服务器、机器学习服务器集群、图像分割服务器等，从程序角度而言，执行主体相应地可以是搭载于这些计算设备上的程序，比如，神经网络建模平台、图像处理平台等。

图1中的流程可以包括以下步骤：

S102：获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界。

在本申请的一些实施例中，预定类别可以根据实际识别需求定义，预定类别包括虚拟车道线类别。本申请主要关注对虚拟车道线的识别。

预定类别比如还可以包括路面类别、虚线车道线类别、实线车道线类别、双车道线类别、白色车道线类别、黄色车道线类别等，其他类别比如包括本段列举的多个类别。

若某道路样本图像包含类别对应的要素，则可以认为该道路样本图像属于该类别，比如，若某道路样本图像包含虚线车道线，则可以认为该道路样本图像属于虚线车道线类别。一个道路样本图像可以属于多个不同类别。

在本申请的一些实施例中，指定车道的至少一侧边界不包含真实车道线。指定车道可以是应急车道，如背景技术所述，应急车道的右边界常用栅栏、凸型屏障、路沿等边界界定，而非真实车道线。除了应急车道以外，可能还有其他一些应道也存在类似情况，一侧边界或者双侧边界不包含真实车道线，比如，县道、乡道、非正规道路等，指定车道也可以是这些车道。

在本申请的一些实施例中，道路样本图像有多个，用于训练相应的机器学习模型，该机器学习模型至少用于基于对虚拟车道线的定义，识别虚拟车道线，另外，若该机器学习模型针对虚拟车道线以外的类别也进行了训练，则也可以用于识别这些类别的要素，比如，虚线车道线、路面等。

在本申请的一些实施例中，虚拟车道线的定义方式可以是多样的。比如，按照虚拟车道线的位置定义，可以定义为其完全处于路面上，或者完全处于栅栏、路沿、凸型屏障等要素所处区域，或者部分处于路面上另一部分处于这些要素所处区域等；还可以按照样式等其他维度定义虚拟车道线。下面一些实施例主要以定义虚拟车道线完全处于路面上为例进行说明，在这种情况下，虚拟车道线实际上可以由路面像素构成，当然，虚拟车道线的具体样式(比如，宽度如何、是虚线还是实线等)仍然可以是多样的，可以根据需求定义。

S104：调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型(可以简称为模型)，以在第一训练阶段内偏重针对所述其他类别训练。

在本申请的一些实施例中，模型比如可以是基于卷积神经网络的图像分割模型，卷积神经网络能够对图像进行多区域化精细处理，有利于提高识别结果的准确性。图像分割模型比如可以是图像语义分割模型，有助于进一步地提高识别结果的准确性。

在本申请的一些实施例中，可以适应于对虚拟车道线等需要识别的要素的定义，在道路样本图像中对这些要素进行标注，以便接下来利用标注信息，对模型进行有监督训练。

在本申请的一些实施例中，由于虚拟车道线是根据道路相关的要素(比如，路面、凸型屏障等)虚拟得到的，则其本身相对于该相关的要素缺少明显的区别特征。若在训练模型时平等地针对各类要素进行训练，则虚拟车道线类别难以被充分训练，进而会影响后续识别效果，基于此，考虑针对虚拟车道线类别与其他类别，分训练阶段区别性地有偏重地进行训练，以求在不同训练阶段分别能够尽量充分地训练一部分类别，各训练阶段具体持续多久，达到怎样的训练充分程度可以根据实际情况确定，这里不做具体限定。

在本申请的一些实施例中，相比于虚拟车道线类别，其他类别的样本往往更多，容易充分训练，因此，可以先偏重针对其他类别进行训练。以下假定训练权重越高，则越偏重针对该训练权重对应的类别训练。

可以通过调整虚拟车道线类别和/或其他类别的训练权重，以在第一训练阶段内偏重针对所述其他类别训练，比如通过调整训练权重干预训练过程中对应类别对应的损失的大小，从而影响该类别的训练充分程度。调整方案可以是多样的，比如可以将虚拟车道线类别对应的训练权重尽量调低，优选地可以降为0，当然，也可以将其他类别对应的训练权重调高。

S106：调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练。

在本申请的一些实施例中，第一训练阶段结束后，在第二训练阶段内则可以偏重针对虚拟车道线类别训练。相应地，比如可以将其他类别对应的训练权重尽量调低，并可以将虚拟车道线类别对应的训练权重还原为正常水平，甚至可以调高。可以使在调整后，其他类别对应的训练权重大于0，且远小于虚拟车道线类别对应的训练权重，比如，其他类别对应的训练权重为虚拟车道线类别对应的训练权重的0.01倍等。需要说明的是，也可以将其他类别对应的训练权重调整为0，但是持续时间不宜过长，以免使其他类别中的一些不太显著的类别更加地不显著，后续难以再有效训练。

S108：利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

在本申请的一些实施例中，待识别图像主要指训练样本以外的图像，比如，新采集的待识别的道路路面图像等。可以利用训练后的模型，在待识别图像中识别虚拟车道线或者其他需要识别的要素。

需要说明的是，在实际应用中，第二训练阶段未必是模型训练的最终阶段。在第二训练阶段完成后，可以直接利用此时的模型识别待识别图像，或者，还可以针对模型进一步地训练或者调整，以求达到更好的训练效果，之后再用于识别待识别图像。

通过图1的方法，通过利用虚拟车道线代替栅栏、凸型屏障、路沿等要素，来界定诸如应急车道等特定车道的至少一侧边界，能够简化模型训练所需针对的类别，不仅如此，在训练模型时，还通过调整类别的训练权重，使得包括虚拟车道线类别在内的各类别都能够得到充分训练，有利于使用训练好的模型更准确地识别车道线。

基于图1的方法，本申请的一些实施例还提供了该方法的一些具体实施方案，以及扩展方案，下面进行说明。

在本申请的一些实施例中，若虚拟车道线位于路面上(比如虚拟车道线由路面像素构成)，在这种情况下，预定类别还可以包括路面类别，为了使模型更好地区分虚拟车道线与其他路面像素，可以在至少一个训练阶段内偏重于训练虚拟车道线类别和路面类别，而相对地忽视除此之外的其他类别。该至少一个训练阶段比如是晚于第二训练阶段的第三训练阶段，当然，第三训练阶段也可以在第一训练阶段或者第二训练阶段之前，最后训练效果可能会有所区别。

基于此，对于步骤S106，在所述第二训练阶段后，比如还可以执行：至少调整所述虚拟车道线类别和所述路面类别以外的类别对应的训练权重，并根据训练权重和所述道路样本图像，再训练所述机器学习模型，以在第三训练阶段内偏重针对所述虚拟车道线类别和所述路面类别训练，并利用第三训练阶段训练后的所述机器学习模型，在待识别图像中识别虚拟车道线。

上例是假定虚拟车道线位于路面上的，若虚拟车道线位于凸型屏障上，则可以相应地将上例中的路面类别替换为凸型屏障类别，以便进一步训练后模型能够更好地区分虚拟车道线以及与构成虚拟车道线的像素一致的其他像素。

更直观地，本申请的一些实施例还提供了一种虚拟车道线示意图，如图2所示。图2为俯视图，主要示出了一条应急车道，以及用于界定该应急车道左边界的一条真实车道线、能够界定该应急车道右边界的一条凸型屏障，另外，还用虚线(这条虚线实际是不存在的)标示出了一条虚拟车道线。该虚拟车道线可以代替该凸型屏障，用于界定该应急车道右边界。可以看到，该虚拟车道线也位于路面上，由路面像素构成，该虚拟车道线位于凸型屏障靠近应急车道的一侧(左侧)，宽度可以与该真实车道线一致。当然，根据前面的说明也可知，图2中的虚拟车道线只是为了便于理解，用一种示例性的位置和样式表示的，并非唯一的位置和样式。

根据上面的说明，本申请的一些实施例还提供了上述虚拟车道线识别方法的一种详细流程，如图3所示。

图3中的步骤可以包括以下步骤：

S302：定义虚拟车道线出现在应急车道边界要素左侧的路面上，且宽度和其左侧的车道线同宽，该边界要素比如是栅栏、路沿、或者凸型屏障等。

S304：获取多个预定类别的道路样本图像，预定类别至少包括虚拟车道线类别，以及包括路面类别在内的其他类别，虚拟车道线用于界定应急车道的右边界。

S306：对道路样本图像中需要识别的各类要素进行标注，标注的信息用于训练模型，要素至少包括虚拟车道线。

S308：在第一训练阶段内，将虚拟车道线类别对应的训练权重设置为0，以偏重训练其他类别。

S310：在第二训练阶段内，调整其他类别对应的训练权重和虚拟车道线类别对应的训练权重，使得调整后的其他类别对应的训练权重大于0，且远小于调整后的虚拟车道线类别对应的训练权重，以在第二训练阶段内相应减少针对所述其他类别的训练，偏重训练虚拟车道线类别。

S312：在第三训练阶段内，将路面类别和虚拟车道线类别对应的训练权重设置成大于0，除此之外的其他类别权重设为0，以再训练调整模型。

S314：利用训练完毕的模型，在待识别图像中识别虚拟车道线。

基于同样的思路，本申请的一些实施例还提供了上述方法对应的装置、设备和非易失性计算机存储介质。

图4为本申请的一些实施例提供的对应于图1的一种虚拟车道线识别装置的结构示意图，虚线方框表示可选的模块，该装置包括：

样本图像获取模块401，获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界；

第一调整训练模块402，调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型，以在第一训练阶段内偏重针对所述其他类别训练；

第二调整训练模块403，调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练；

虚拟车道线识别模块404，利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

可选地，所述指定车道包括应急车道，所述虚拟车道线用于界定所述应急车道的其中一侧边界，所述其中一侧边界处不包含真实车道线。

可选地，所述虚拟车道线与用于界定所述应急车道的另一侧边界的真实车道线宽度一致。

可选地，所述其中一侧边界处包含以下至少一种要素：栅栏、路沿、凸型屏障。

可选地，所述虚拟车道线位于所述要素靠近所述应急车道的一侧，且位于所述应急车道的路面上。

可选地，所述预定类别包括路面类别，所述虚拟车道线位于路面上；所述装置还包括：

第三调整训练模块405，在所述第二训练阶段后，至少调整所述虚拟车道线类别和所述路面类别以外的类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在第三训练阶段内偏重针对所述虚拟车道线类别和所述路面类别训练，并利用第三训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

可选地，所述第一调整训练模块402调整所述虚拟车道线类别对应的训练权重，具体包括：

所述第一调整训练模块402将所述虚拟车道线类别对应的训练权重调整为0，以在第一训练阶段内不针对所述虚拟车道线类别训练；

所述第二调整训练模块403调整所述其他类别对应的训练权重，具体包括：

所述第二调整训练模块403调整所述其他类别对应的训练权重和所述虚拟车道线类别对应的训练权重，使得调整后的所述其他类别对应的训练权重大于0，且远小于调整后的所述虚拟车道线类别对应的训练权重，以在第二训练阶段内相应减少针对所述其他类别的训练。

可选地，所述装置还包括：

虚拟车道线标注模块406，在所述训练机器学习模型前，适应于所述虚拟车道线的定义方式，在所述道路样本图像中标注虚拟车道线，标注得到的信息用于对所述机器学习模型的有监督训练。

可选地，所述机器学习模型包括基于卷积神经网络的图像语义分割模型。

图5为本申请的一些实施例提供的对应于图1的一种虚拟车道线识别设备的结构示意图，该设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界；

调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型，以在第一训练阶段内偏重针对所述其他类别训练；

调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练；

利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

本申请的一些实施例提供的对应于图1的一种虚拟车道线识别非易失性计算机存储介质，存储有计算机可执行指令，该计算机可执行指令设置为：

获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界；

调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型，以在第一训练阶段内偏重针对所述其他类别训练；

调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练；

利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的装置、设备和介质与方法是一一对应的，因此，装置、设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述装置、设备和介质的有益技术效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (20)

1.一种虚拟车道线识别方法，其特征在于，包括：

获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界；

调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型，以在第一训练阶段内偏重针对所述其他类别训练；

调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练；

利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

2.如权利要求1所述的方法，其特征在于，所述指定车道包括应急车道，所述虚拟车道线用于界定所述应急车道的其中一侧边界，所述其中一侧边界处不包含真实车道线。

3.如权利要求2所述的方法，其特征在于，所述虚拟车道线与用于界定所述应急车道的另一侧边界的真实车道线宽度一致。

4.如权利要求2所述的方法，其特征在于，所述其中一侧边界处包含以下至少一种要素：栅栏、路沿、凸型屏障。

5.如权利要求4所述的方法，其特征在于，所述虚拟车道线位于所述要素靠近所述应急车道的一侧，且位于所述应急车道的路面上。

6.如权利要求1所述的方法，其特征在于，所述预定类别包括路面类别，所述虚拟车道线位于路面上；

在所述第二训练阶段后，所述方法还包括：

至少调整所述虚拟车道线类别和所述路面类别以外的类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在第三训练阶段内偏重针对所述虚拟车道线类别和所述路面类别训练，并利用第三训练阶段训练后的所述机器学习模型，在待识别图像中识别虚拟车道线。

7.如权利要求1所述的方法，其特征在于，所述调整所述虚拟车道线类别对应的训练权重，具体包括：

将所述虚拟车道线类别对应的训练权重调整为0，以在第一训练阶段内不针对所述虚拟车道线类别训练；

所述调整所述其他类别对应的训练权重，具体包括：

调整所述其他类别对应的训练权重和所述虚拟车道线类别对应的训练权重，使得调整后的所述其他类别对应的训练权重大于0，且与调整后的所述虚拟车道线类别对应的训练权重的比小于或等于0.01，以在第二训练阶段内相应减少针对所述其他类别的训练。

8.如权利要求1所述的方法，其特征在于，在所述训练机器学习模型前，所述方法还包括：

适应于所述虚拟车道线的定义方式，在所述道路样本图像中标注虚拟车道线，所述标注得到的信息用于对所述机器学习模型的有监督训练。

9.如权利要求1～8中任一项所述的方法，其特征在于，所述机器学习模型包括基于卷积神经网络的图像语义分割模型。

10.一种虚拟车道线识别装置，其特征在于，包括：

样本图像获取模块，获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界；

第一调整训练模块，调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型，以在第一训练阶段内偏重针对所述其他类别训练；

第二调整训练模块，调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练；

虚拟车道线识别模块，利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

11.如权利要求10所述的装置，其特征在于，所述指定车道包括应急车道，所述虚拟车道线用于界定所述应急车道的其中一侧边界，所述其中一侧边界处不包含真实车道线。

12.如权利要求11所述的装置，其特征在于，所述虚拟车道线与用于界定所述应急车道的另一侧边界的真实车道线宽度一致。

13.如权利要求11所述的装置，其特征在于，所述其中一侧边界处包含以下至少一种要素：栅栏、路沿、凸型屏障。

14.如权利要求13所述的装置，其特征在于，所述虚拟车道线位于所述要素靠近所述应急车道的一侧，且位于所述应急车道的路面上。

15.如权利要求10所述的装置，其特征在于，所述预定类别包括路面类别，所述虚拟车道线位于路面上；所述装置还包括：

第三调整训练模块，在所述第二训练阶段后，至少调整所述虚拟车道线类别和所述路面类别以外的类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在第三训练阶段内偏重针对所述虚拟车道线类别和所述路面类别训练，并利用第三训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

16.如权利要求10所述的装置，其特征在于，所述第一调整训练模块调整所述虚拟车道线类别对应的训练权重，具体包括：

所述第一调整训练模块将所述虚拟车道线类别对应的训练权重调整为0，以在第一训练阶段内不针对所述虚拟车道线类别训练；

所述第二调整训练模块调整所述其他类别对应的训练权重，具体包括：

所述第二调整训练模块调整所述其他类别对应的训练权重和所述虚拟车道线类别对应的训练权重，使得调整后的所述其他类别对应的训练权重大于0，且与调整后的所述虚拟车道线类别对应的训练权重的比小于或等于0.01，以在第二训练阶段内相应减少针对所述其他类别的训练。

17.如权利要求10所述的装置，其特征在于，所述装置还包括：

虚拟车道线标注模块，在所述训练机器学习模型前，适应于所述虚拟车道线的定义方式，在所述道路样本图像中标注虚拟车道线，标注得到的信息用于对所述机器学习模型的有监督训练。

18.如权利要求10～17中任一项所述的装置，其特征在于，所述机器学习模型包括基于卷积神经网络的图像语义分割模型。

19.一种虚拟车道线识别设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界；

调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型，以在第一训练阶段内偏重针对所述其他类别训练；

调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练；

利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

20.一种虚拟车道线识别非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

获取多个预定类别的道路样本图像，所述预定类别至少包括虚拟车道线类别和其他类别，所述虚拟车道线用于界定指定车道的至少一侧边界；

调整所述虚拟车道线类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，训练机器学习模型，以在第一训练阶段内偏重针对所述其他类别训练；

调整所述其他类别对应的训练权重，并根据调整后的训练权重和所述道路样本图像，再训练所述机器学习模型，以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练；

利用第二训练阶段训练后的机器学习模型，在待识别图像中识别虚拟车道线。

Images