CN114882457A

CN114882457A - 一种模型的训练方法、车道线的检测方法及设备

Info

Publication number: CN114882457A
Application number: CN202210368255.8A
Authority: CN
Inventors: 蔡信岳; 杨臻; 徐航; 许春景; 张洪波
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2022-03-31
Filing date: 2022-03-31
Publication date: 2022-08-09

Abstract

本申请公开了一种模型的训练方法、车道线的检测方法及设备，可用于人工智能领域中，具体可应用于汽车领域的车道线检测，包括：对训练样本分别标注第一类型的真值集、第二类型的真值集及第三类型的真值集，分别用于表征属于车道线的特征点、车道线上特征点的局部方向信息、特征点与车道线远端端点距离的信息，在上述真值标注基础下对目标模型进行训练，本申请解耦了车道线预测任务同时重度依赖准确的局部信息以及鲁棒的全局信息的需求，使用第二类型的真值集获取局部信息，能够使车道线预测更加贴合；使用第三类型的真值集获取全局信息，能够使车道线的长度预测更为精准，两相配合大幅度提升了车道线检测的性能，能够更好地适应真实的驾驶场景。

Description

一种模型的训练方法、车道线的检测方法及设备

技术领域

本申请涉及机器学习领域，尤其涉及一种模型的训练方法、车道线的检测方法及设备。

背景技术

人工智能技术越来越多地应用于驾驶领域，这有助于提高驾驶舒适性以及先进驾驶辅助系统(advanced driver assistance system，ADAS)、自动驾驶系统(autonomousdriving system，ADS)等。作为自动驾驶的一个基本问题，车道线检测在车辆实时定位、行驶路线规划、车道、保持辅助和自适应巡航控制等应用中起着至关重要的作用。因此，如何实时、准确检测出路面的车道线是智能车辆相关系统设计中的重要环节，可有利于协助路径规划、进行道路偏移预警等功能，并且可为精确导航提供参照。

目前，通用的车道线检测方法一般分为两种类型：基于回归的方式和基于分割的方式，其中，基于回归的方式(regression-based)只能粗略地预测出车道线的位置，在预测车道线远端弯道时精度差，例如，基于回归的方式在预测Y型车道线时倾向于预测Y型车道线的角平分线(如图1所示意的角平分线)、对于曲率较大的弯线不能很好的贴合(如图1所示意的非贴合线)；而基于分割的方式(segmentation-based)只能对车道线的局部进行较为准确的预测，由于分割是点对点(pixel to pixel)的，会导致预测出来的车道线整体性能不佳，例如，引起车道错位的发生率很高，如图2示意的就是基于分割的方式引起的车道错位的一个实例。

上述通用的车道线检测方法能在局部或全局对车道线进行检测，但都存在各自的缺陷，在现实应用中，由于复杂的驾驶场景，如：车辆遮挡、模糊车道和具有复杂拓扑结构(如不对称车道和近水平车道等)，车道线检测仍然是一个很具有挑战性的问题。

发明内容

本申请实施例提供了一种模型的训练方法、车道线的检测方法及设备，用于在模型的训练阶段，对训练样本进行三种不同类型的真值标注，分别用于表征属于车道线的特征点、车道线的局部方向信息、特征点与车道线远端端点距离的信息，然后在上述真值标注的基础下对目标模型进行训练，本申请实施例解耦了车道线预测任务同时重度依赖准确的局部信息以及鲁棒的全局信息的需求，使用第二类型的真值集获取局部信息，能够使车道线预测更加贴合；使用第三类型的真值集获取全局信息，能够使车道线的长度预测更为精准，两相配合大幅度提升了车道线检测的性能，可以预测任意数量的车道线，可以预测形状复杂的Y-型线、弯曲车道线等，能够更好地适应真实的驾驶场景。

基于此，本申请实施例提供以下技术方案：

第一方面，本申请实施例首先提供一种模型的训练方法，可用于人工智能领域中，具体可应用于汽车领域的车道线检测场景中，该方法包括：首先，需要对训练集中的每个训练样本标注不同类型的真值，标注的真值包括第一类型的真值集、第二类型的真值集以及第三类型的真值集。其中，第二类型的真值集也可以称为转移集合，第三类型的真值集也可以称为距离集合。在本申请实施例中，第一类型的真值集内的真值是用于表征属于车道线的特征点的，该特征点也可以称为关键前景点。第二类型的真值集内可以包括用于表征目标特征点到目标车道线上第一点的方向信息(可称为第一方向信息)的真值。第三类型的真值集内可以包括用于表征目标特征点到目标车道线上第一端点之间的距离(可称为第一距离)的真值，该第一端点为目标车道线在前进方向上的端点，即前向端点。第一距离也可称为前向距离标量，记为FDS。该第一点位于目标车道线的前进方向，目标车道线为目标特征点位于的车道线，其中，该目标特征点为第一类型的真值集内的任意一个，在实际应用过程中，可以将第一类型的真值集内的任意一个特征点作为目标特征点。之后，利用事先构建好的损失函数(可称为目标损失函数)，采用所述的训练集对目标模型进行训练，直至达到预设的训练终止条件，从而得到训练后的目标模型。在本申请实施例中，目标损失函数可以根据第一损失函数、第二损失函数以及第三损失函数得到，其中，第一损失函数与第一类型的真值集对应，第二损失函数与该第二类型的真值集对应，第三损失函数与该第三类型的真值集对应。

在本申请上述实施方式中，在模型的训练阶段，对训练样本进行三种不同类型的真值标注，分别用于表征属于车道线的特征点、车道线的局部方向信息、特征点与车道线远端端点距离的信息，然后在上述真值标注的基础下对目标模型进行训练，本申请实施例解耦了车道线预测任务同时重度依赖准确的局部信息以及鲁棒的全局信息的需求，使用第二类型的真值集获取局部信息，能够使车道线预测更加贴合；使用第三类型的真值集获取全局信息，能够使车道线的长度预测更为精准，两相配合大幅度提升了车道线检测的性能，可以预测任意数量的车道线，可以预测形状复杂的Y-型线、弯曲车道线等，能够更好地适应真实的驾驶场景。

在一种可能的实现方式中，在第二类型的真值集包括前进方向的转移集合(即该第二类型的真值集内只包括用于表征目标特征点到目标车道线上第一点的第一方向信息的真值)的情况下，标注真值的方式(可称为第一标注方式)可以是：首先，在第一类型的真值集内任取一个特征点作为目标特征点，再以该目标特征点为中心、预设步长为半径画圆，得到的圆为目标圆，该目标圆与目标车道线的中心线在前进方向上的交点就为所述的第一点。之后，根据该目标特征点与第一点之间的相对位置关系标注所述的第一方向信息，该第一方向信息就属于所述前进方向的转移集合中的一个元素。

在本申请上述实施方式中，由于车道线的形状是扁长的，局部预测能够精细的刻画车道线的细节，因此，本申请实施例引入车道线前进方向的第二类型的真值集(即前进方向的转移集合)来描述车道线在前进方向的局部信息，由于每个目标特征点都是局部的，因此车道线的局部方向信息能够更加精确的刻画车道线的局部信息，从而增加车道线弯道的精准程度。此外，在本申请上述实施例中，在一些应用场景中，可以只需要车道线的前向分支，在这种情况下，在进行第二类型的真值集的标注过程中可以只标注前进方向的转移集合，以节省训练时间。

在一种可能的实现方式中，将第一类型的真值集内的每个特征点均作为所述的目标特征点，重复上述所述的标注方式，直到得到每个特征点各自对应的第一方向信息，这些第一方向信息属于该第二类型的真值集。

在本申请上述实施方式中，将第一类型的真值集中的每个特征点都得到各自对应的第一方向信息，从而使得前进方向的转移集合具备完备性，从而可提高模型的训练效果。

在一种可能的实现方式中，第二类型的真值集内还可以包括用于表征目标特征点到目标车道线上第二点的方向信息(可称为第二方向信息)的真值，该第二点位于目标车道线的后继方向。

在本申请上述实施方式中，第二类型的真值集可以既包括前进方向的转移集合，又包括后继方向的转移集合(即该第二类型的真值集内包括用于表征目标特征点到目标车道线上第一点的第一方向信息的真值以及用于标注目标特征点到目标车道线上第二点的第二方向信息的真值)，用于训练目标模型预测整条车道线，更贴近真实的驾驶场景，可提高用户的使用体验。

在一种可能的实现方式中，在第二类型的真值集既包括前进方向的转移集合，又包括后继方向的转移集合的情况下，对后继方向的转移集合中的元素进行真值标注的方式可以是：首先，在第一类型的真值集内任取一个特征点作为目标特征点，再以该目标特征点为中心、预设步长为半径画圆，得到的圆为目标圆，该目标圆与目标车道线的中心线在后继方向上的交点就为所述的第二点。之后，根据该目标特征点与第二点之间的相对位置关系标注所述的第二方向信息，该第二方向信息就属于所述后继方向的转移集合中的一个元素。

在本申请上述实施方式中，还进一步引入车道线后继方向的第二类型的真值集(即后继方向的转移集合)来描述车道线在后继方向的局部信息，提高了模型对于局部信息的理解和预测能力。

在一种可能的实现方式中，将第一类型的真值集内的每个特征点均作为所述的目标特征点，重复上述所述的标注方式，直到得到每个特征点各自对应的第二方向信息，这些第二方向信息也属于该第二类型的真值集。

在本申请上述实施方式中，将第一类型的真值集中的每个特征点都得到各自对应的第二方向信息，从而使得后继方向的转移集合也具备完备性，并且根据一个目标特征点，并凭借构建的前进方向的转移集合以及后继方向的转移集合能够有效的将一整条车道线解码出来。

在一种可能的实现方式中，在第三类型的真值集包括前向距离集合(即用于表征目标特征点到目标车道线上第一端点之间的第一距离的真值)的情况下，标注真值的方式(可称为第二标注方式)可以是：首先，计算目标特征点与目标车道线的第一端点之间的第一距离(即FDS)，并将第一类型的真值集内每个特征点作为目标特征点，重复上述步骤，直至得到每个特征点各自对应的第一距离，每个特征点各自对应的第一距离属于第三类型的真值集。也就是遍历第一类型的真值集内的每个特征点的前向距离标量可以形成前向距离集合FDF∈R^H×W×1。

在本申请上述实施方式中，由上述第二类型的真值集的标注过程可知，根据一个目标特征点，并凭借构建的转移集合能够有效的将一条车道线解码出来，但是转移集合对于车道线末端难以进行有效的预测，因此本申请引入第三类型的真值集(即距离集合)来描述预测车道线与当前的目标特征点之间的距离，整个预测过程由于只需要粗略的全局信息(因为只需要距离信息)，因此鲁棒性高。此外，在本申请上述实施例中，在一些应用场景中，可以只需要车道线的前向分支，在这种情况下，在进行第三类型的真值集的标注过程中可以只标注前向距离集合，以节省训练时间。

在一种可能的实现方式中，第三类型的真值集内还可以包括用于表征目标特征点到目标车道线上第二端点之间的距离(可称为第二距离)的真值，该第二端点为目标车道线在后继方向上的端点，即后继端点。

在本申请上述实施方式中，第三类型的真值集可以既包括前向距离集合，又包括后向距离集合(即该第三类型的真值集内包括用于表征目标特征点到目标车道线上第一端点之间的第一距离的真值，又包括用于表征目标特征点到目标车道线上第二端点之间的第二距离的真值)，用于训练目标模型预测整条车道线，更贴近真实的驾驶场景，可提高用户的使用体验。

在一种可能的实现方式中，在第三类型的真值集既包括前向距离集合，又包括后向距离集合的情况下，对后向距离集合中的元素进行真值标注的方式可以是：首先，计算目标特征点与目标车道线的第二端点之间的第二距离(即BDS)，并将第一类型的真值集内每个特征点作为目标特征点，重复上述步骤，直至得到每个特征点各自对应的第二距离，每个特征点各自对应的第二距离也属于第三类型的真值集。也就是遍历第一类型的真值集内的每个特征点的后向距离标量可以形成后向距离集合BDF∈R^H×W×1。

在本申请上述实施方式中，根据一个目标特征点，并凭借构建的前向距离集合以及后向距离集合能够有效的将一整条车道线解码出来，端点的距离信息提高了目标模型对于全局信息的理解以及预测能力，可以预测任意数量的车道线以及可以预测形状复杂的Y-型线、弯曲车道线等。

在一种可能的实现方式中，对训练集中的训练样本标注真值包括对训练集中的训练样本进行第一类型的真值标注，标注方式可称为第三标注方式，具体可以包括：首先，基于训练集中的训练样本得到车道线点列，并在训练过程中由车道线点列得到至少一个特征点，该至少一个特征点就属于所述的第一类型的真值集。例如，可以采用语义分割方式预测属于车道线的点和不属于车道线的点，即得到分割图。分割图的主要作用是在进行车道线预测的时候生成车道线检测的候选起点(即进行车道线预测的起始点)，所述候选起点可以是第一类型的真值集中的任意一个关键前景点。其中，每个选出的关键前景点都需要进行第二类型的真值集标注(也可称为转移集合)以及第三类型的真值集标注(也可称为距离集合)，每个关键前景点都可以对应预测出一条车道线。例如，假设第一类型的真值集内包括8个关键前景点，那么就可基于每个关键前景点各自的转移集合和距离集合分别预测出8条预测车道线，最后再基于NMS、取平均值、拟合等方式得到最终的车道线预测结果。

在本申请上述实施方式中，具体阐述了第一类型的真值集的标注过程，具备可实现性。

在一种可能的实现方式中，第一损失函数可以为交叉熵损失函数。

在本申请上述实施方式中，具体阐述了第一损失函数的一种典型表现形式，具备广泛适用性。

在一种可能的实现方式中，第二损失函数或所述第三损失函数可以是L1范数损失函数，也可以是L2范数损失函数，本申请对此不做限定。

在本申请上述实施方式中，具体阐述了第二损失函数以及第三损失函数可以选择的表现形式，具备灵活性。

本申请实施例第二方面还提供了一种车道线的检测方法，该方法可以包括：获取目标图像，并基于训练后的目标模型得到该目标图像的预测值，其中，该预测值包括第一类型的预测值集(即预测的车道线分割图)、第二类型的预测值集(即预测的转移集合)以及第三类型的预测值集(即预测的距离集合)，第一类型的预测值集包括用于表征属于车道线的预测特征点，第二类型的预测值集内包括与目标预测特征点对应的第一预测方向信息，第三类型的预测值集内包括与目标预测特征点对应的第一预测距离。第一预测方向信息为指向目标车道线前进方向的信息，第一预测距离为目标车道线在前进方向上的端点与目标预测特征点之间的预测距离，目标预测特征点为所述第一类型的预测值集中的任意一个，训练后的目标模型经由上述第一方面或第一方面任意一种可能实现方式的方法的训练过程得到。在得到目标图像的预测值的之后，执行设备再基于该预测值得到至少一条预测车道线。

在本申请上述实施方式中，提出了一种新的车道线检测方法，该方法使用预测的转移集合和预测的距离集合生成车道线实例，能够有效处理分叉道路以及大转弯场景下的车道线检测性能，可以获得在真实驾驶场景中良好的指导作用。

在一种可能的实现方式中，在预测车道线的前向分支时，第二类型的预测值集中包括前进方向的转移集合(即第二类型的预测值集仅包括与目标预测特征点对应的第一预测方向信息)，第三类型的预测值集中包括前向的预测距离集合(即第三类型的预测值集内仅包括与目标预测特征点对应的第一预测距离)。首先，根据前进方向的转移集合中的目标预测特征点、第一预测方向信息以及第一预测距离，得到与目标预测特征点对应的目标预测车道线的前向分支，目标预测车道线为至少一条预测车道线中的一条。

在本申请上述实施方式中，具体阐述了是如何基于一个预测特征点预测对应车道线的前向分支，具备可实现性。

在一种可能的实现方式中，根据所述目标预测特征点、第一预测方向信息以及第一预测距离得到与所述目标预测特征点对应的目标预测车道线的前向分支的具体过程可以是：根据目标预测特征点以及第一预测方向信息预测属于目标预测车道线上的第一预测点，之后，将第一预测点作为新的目标预测特征点，根据第二类型的预测值集，重复执行上述步骤，直至最后一次得到的第一预测点与目标预测特征点之间的距离达到所述第一预测距离，最后，将目标预测特征点以及得到的每个第一预测点依次有序连接，得到目标预测车道线的前向分支。

在本申请上述实施方式中，使用前进方向的预测转移集合和预测的前向距离集合生成车道线在前进方向的实例，对于弯曲的线、接近水平的线以及被遮挡的车道线都有很好的预测能力。

在一种可能的实现方式中，在训练过程中，由于第二类型的真值集可以仅包括前进方向的转移集合，也可以既包括前进方向的转移集合，又包括后继方向的转移集合，因此，在本申请的一些实施方式中，第二类型的预测值集可以仅包括前进方向的预测转移集合，也可以既包括前进方向的预测转移集合，又包括后继方向的预测转移集合。类似地，由于第三类型的真值集可以仅包括前向距离集合，也可以既包括前向距离集合，又包括后向距离集合，因此，在本申请的一些实施方式中，第三类型的预测值集也可以仅包括前向的预测距离集合，也可以既包括前向的预测距离集合，又包括后向的预测距离集合。

在本申请上述实施方式中，具体阐述了第二类型的预测值集以及第三类型的预测值集还可以包括用于预测车道线后向分支的相关预测值，可基于此双向生成车道线实例，提高了车道线的检测性能。

在一种可能的实现方式中，在预测车道线的后向分支时，第三类型的预测值集中还包括后继方向的预测转移集合，第三类型的预测值集中还包括后向的预测距离集合。首先，根据目标预测特征点、第二预测方向信息以及第二预测距离，得到与目标预测特征点对应的目标预测车道线的后向分支，目标预测车道线为至少一条预测车道线中的一条。

在本申请上述实施方式中，具体阐述了是如何基于一个预测特征点预测对应车道线的后向分支，具备可实现性。

在一种可能的实现方式中，根据所述目标预测特征点、第二预测方向信息以及第二预测距离得到与所述目标预测特征点对应的目标预测车道线的后向分支的具体过程可以是：根据目标预测特征点以及第二预测方向信息预测属于该目标预测车道线上的第二预测点，之后，将第二预测点作为新的目标预测特征点，根据第二类型的预测值集，重复执行上述步骤，直至最后一次得到的第二预测点与目标预测特征点之间的距离达到所述第二预测距离，最后，将目标预测特征点以及得到的每个第二预测点依次有序连接，得到目标预测车道线的后向分支。

在本申请上述实施方式中，使用后继方向的预测转移集合和预测的后向距离集合生成车道线在后继方向的实例，对于弯曲的线、接近水平的线以及被遮挡的车道线都有很好的预测能力。

本申请实施例第三方面提供一种训练设备，该训练设备具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

本申请实施例第四方面提供一种执行设备，该执行设备具有实现上述第二方面或第二方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

本申请实施例第五方面提供一种训练设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于调用该存储器中存储的程序以执行本申请实施例第一方面或第一方面任意一种可能实现方式的方法。

本申请实施例第六方面提供一种执行设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于调用该存储器中存储的程序以执行本申请实施例第二方面或第二方面任意一种可能实现方式的方法。

本申请实施例第七方面提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面或第一方面任意一种可能实现方式的方法，或，使得计算机可以执行上述第二方面或第二方面任意一种可能实现方式的方法。

本申请实施例第八方面提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任意一种可能实现方式的方法，或，使得计算机可以执行上述第二方面或第二方面任意一种可能实现方式的方法。

本申请实施例第九方面提供了一种芯片，该芯片包括至少一个处理器和至少一个接口电路，该接口电路和该处理器耦合，至少一个接口电路用于执行收发功能，并将指令发送给至少一个处理器，至少一个处理器用于运行计算机程序或指令，其具有实现如上述第一方面或第一方面任意一种可能实现方式的方法的功能，或，其具有实现如上述第二方面或第二方面任意一种可能实现方式的方法的功能，该功能可以通过硬件实现，也可以通过软件实现，还可以通过硬件和软件组合实现，该硬件或软件包括一个或多个与上述功能相对应的模块。此外，该接口电路用于与该芯片之外的其它模块进行通信，例如，该接口电路可将芯片上处理器得到的训练后的目标模型发送给各种智能行驶(如，无人驾驶、辅助驾驶等)的智能体进行运动规划(如，驾驶行为决策、全局路径规划等)。

附图说明

图1为基于回归的方式进行车道线检测得到的检测结果的一个实例示意图；

图2为基于分割的方式进行车道线检测得到的检测结果的一个实例示意图；

图3为本申请实施例提供的人工智能主体框架的一种结构示意图；

图4为本申请实施例提供的图像处理系统架构的一个示意图；

图5为本申请实施例提供的训练后的目标模型在自动驾驶车辆上部署位置的一个示意图；

图6为本申请实施例提供的模型的训练方法的一个流程示意图；

图7为本申请实施例提供的构造分割图的一个示意图；

图8为本申请实施例提供的进行第二类型的真值标注的一个示意图；

图9为本申请实施例提供的前驱向量的向量回归表示法的一个示意图；

图10为本申请实施例提供的前驱向量的向量分类表示法的一个示意图；

图11为本申请实施例提供的车道线非中心线的一个示意图；

图12为本申请实施例提供的进行第二类型的真值标注的另一示意图；

图13为本申请实施例提供的车道线前进方向、后继方向、端点的一个示意图；

图14为本申请实施例提供的构建转移集合的一个示意图；

图15为本申请实施例提供的构建距离集合的一个示意图；

图16为本申请实施例提供的对训练样本进行真值标注的一个示意图；

图17为本申请实施例提供的目标模型的训练过程的一个示意图；

图18为本申请实施例提供的车道线的检测方法的一个流程示意图；

图19为本申请实施例提供的车道线的检测过程的一个流程示意图；

图20为本申请实施例提供的车道线的检测过程的一个实例过程的示意图；

图21为本申请实施例提供的单条车道线的解码过程的一个示意图；

图22为本申请实施例提供的CULane数据集上本算法与SOTA算法的比较结果的对比图；

图23为本申请实施例提供的CurveLane数据集上本算法与SOTA算法的比较结果的对比图；

图24为本申请实施例提供的TuSimple数据集上本算法与SOTA算法的比较结果的对比图；

图25为本申请实施例提供的LLAMAS数据集上本算法与SOTA算法的比较结果的对比图；

图26为本申请训练后的模型与其他方法在CULane数据集上的车道线预测效果对比图；

图27为本申请训练后的模型与其他方法在CurvelLane数据集上的车道线预测效果对比图；

图28为本申请方法针对弯道的一个改进示意图；

图29为本申请方法针对分叉线的一个改进示意图；

图30为本申请实施例提供的一种应用场景的示意图；

图31为本申请实施例提供的训练设备的一个结构示意图；

图32为本申请实施例提供的执行设备的一个结构示意图；

图33为本申请实施例提供的训练设备的另一结构示意图；

图34为本申请实施例提供的执行设备的另一结构示意图；

图35为本申请实施例提供的芯片的一个结构示意图。

具体实施方式

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。应理解的是，相关的概念解释可能会因为本申请实施例的具体情况有所限制，但并不代表本申请仅能局限于该具体情况，在不同实施例的具体情况可能也会存在差异，具体此处不做限定。

(1)神经网络

神经网络是一种模型，神经网络可以是由神经单元组成的，具体可以理解为具有输入层、隐含层、输出层的神经网络，一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。其中，具有很多层隐含层的神经网络则称为深度神经网络(deep neuralnetwork，DNN)。神经网络中的每一层的工作可以用数学表达式

来描述，从物理层面，神经网络中的每一层的工作可以理解为通过五种对输入空间(输入向量的集合)的操作，完成输入空间到输出空间的变换(即矩阵的行空间到列空间)，这五种操作包括：1、升维/降维；2、放大/缩小；3、旋转；4、平移；5、“弯曲”。其中1、2、3的操作由

完成，4的操作由“+b”完成，5的操作则由“a()”来实现。这里之所以用“空间”二字来表述是因为被分类的对象并不是单个事物，而是一类事物，空间是指这类事物所有个体的集合，其中，W是神经网络各层的权重矩阵，该矩阵中的每一个值表示该层的一个神经元的权重值。该矩阵W决定着上文所述的输入空间到输出空间的空间变换，即神经网络每一层的W控制着如何变换空间。训练神经网络的目的，也就是最终得到训练好的神经网络的所有层的权重矩阵。因此，神经网络的训练过程本质上就是学习控制空间变换的方式，更具体的就是学习权重矩阵。

(2)模型

在本申请实施例中，用于进行车道线检测的模型本质上都是神经网络，或模型的一部分结构为神经网络。模型的应用一般包括训练和推理两个阶段，训练阶段用于根据训练集对模型进行训练，以得到训练后的模型；推理阶段用于将训练后的模型对真实的无标签实例(即真实待处理的目标图像)进行车道线检测，而车道线检测结果的准确度是衡量一个模型训练的好坏的重要指标之一。

需要说明的是，在本申请实施例中，所述的模型可以是基于segformer、hourglassnet等模型的变形。

(3)卷积神经网络(convolutional neural networks，CNN)

CNN是一种带有卷积结构的神经网络。CNN包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指CNN中对输入信号进行卷积处理的神经元层。在CNN的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。

卷积核可以以随机大小的矩阵的形式初始化，在CNN的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。

(4)损失函数(loss function)

在训练神经网络的过程中，因为希望神经网络的输出尽可能的接近真正想要预测的值，可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重矩阵(当然，在第一次更新之前通常会有初始化的过程，即为神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重矩阵让它预测低一些，不断的调整，直到神经网络能够预测出真正想要的目标值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数或目标函数(objectivefunction)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么神经网络的训练就变成了尽可能缩小这个loss的过程。

(5)反向传播算法

在神经网络的训练过程中，可以采用误差反向传播(back propagation，BP)算法修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中的参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。

(6)轮式移动设备

是集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合系统，也可称为轮式移动机器人或轮式智能体，例如，可以是轮式施工设备、自动驾驶车辆、辅助驾驶车辆等，只要是具备轮式可移动的设备就都称为本申请所述的轮式移动设备。为便于理解，在本申请以下实施例中，均以轮式移动设备为自动驾驶车辆为例进行说明，自动驾驶车辆可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等，本申请实施例不做特别的限定。

(7)车道线检测

车道线检测可以认为是一种特殊的目标检测，由于一般的目标检测和车道线检测在目标特征方面具有较大差异，一般的目标检测中的目标物体(如，猫、狗、人脸等)的所占据的区域具有一定长宽比，容易被识别，而车道线检测中的车道线是细长型的，其跨度较长，并且宽度较窄，很难积累足够的鲁棒的特征去描述整条车道线，不容易被识别，这对神经网络提出了苛刻的要求，因此车道线检测比一般的目标检测具有更大挑战性。

在智能驾驶领域中，车道线检测对于自动驾驶车辆准确定位以及对驾驶决策的影响是相当重要的。而车道线作为路面最主要的指示信息之一，它可以有效地引导智能驾驶车辆在约束的道路区域内行驶，实时地检测出路面的车道线是智能驾驶车辆的ADAS、ADS中的重要环节，有利于协助路径规划、进行道路偏移预警等功能，并且可为精确导航提供参照。

下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

首先，对人工智能系统总体工作流程进行描述，请参见图3，图3示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。

(1)基础设施

基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。

(2)数据

基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。

(3)数据处理

数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。

其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。

推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。

决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。

(4)通用能力

对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。

(5)智能产品及行业应用

智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶、智慧城市等。

本申请实施例可以应用在模型的训练优化上，具体体现在对训练样本数据的构建上，本申请实施例在对训练样本数据进行真值标注时，通过对训练样本数据进行不同类型的真值标注，然后将标注有多种类型真值集的训练样本用于对模型的训练，通过本申请优化训练过的模型具体可以应用在人工智能领域的车道线检测中。

需要说明的是，在本申请实施例中，对用于进行车道线检测的模型(可称为目标模型)的具体类型不做限定，例如，本申请所述的目标模型可以是基于segformer的模型，也可以是基于hourglassnet的模型，还可以是基于其他架构的模型，具体此处不做限定。

在确定了应用于车道线检测的目标模型之后，需要对该目标模型进行训练，训练好的目标模型才能应用到具体的车道线检测任务中。具体地，可基于图4所示的图像处理系统200对目标模型的整个训练和车道线检测的流程进行介绍，在图4中，图像处理系统200包括执行设备210、训练设备220、数据库230、客户设备240、数据存储系统250和数据采集设备260，执行设备210中包括计算模块211，所述计算模块211实质为本申请实施例提供的训练后的目标模型201。

其中，数据采集设备260(如，搭载在轮式移动设备上的摄像机)用于获取用户需要的开源的大规模数据集(即训练集)，并将数据集存入数据库230中，训练设备220基于数据库230中维护的数据集对目标模型201进行训练。这里需要注意的是，在本申请实施例中，需要对数据库230中维护的数据集进行多个类型的真值标注，具体地，每个用于训练设备220的训练样本都要标注真值，该真值包括第一类型的真值集、第二类型的真值集以及第三类型的真值集，其中，第一类型的真值集内的真值用于表征属于车道线的特征点，第二类型的真值集内包括用于表征目标特征点到目标车道线上第一点的第一方向信息的真值，第三类型的真值集内包括用于表征目标特征点与目标车道线第一端点之间的第一距离的真值，该目标特征点为第一类型的真值集中的任意一个，该第一点位于目标车道线的前进方向，该第一端点为目标车道线在前进方向上的端点，该目标车道线为目标特征点位于的车道线。类似地，可以对数据库230中的每个训练样本进行上述所述的多个类型的真值标注，之后，采用这些标注有真值的训练样本对目标模型201进行训练。

执行设备210可以调用数据存储系统250中的数据、代码等，也可以将数据、指令等存入数据存储系统250中。数据存储系统250可以置于执行设备210中，也可以为数据存储系统250相对执行设备210是外部存储器。

经由训练设备220训练的目标模型201可以应用于不同的系统或设备(即执行设备210)中，例如，执行设备210可以是各种轮式移动设备(轮式施工设备、自动驾驶车辆、辅助驾驶车辆等)，自动驾驶车辆还可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等等。

在图4中，执行设备210配置有I/O接口212，与外部设备进行数据交互，“用户”可以通过客户设备240向I/O接口212输入数据。如，客户设备240可以是自动驾驶车辆搭载的摄像设备，通过该摄像设备拍摄的图像作为输入数据输入至执行设备210的计算模块211，由计算模块211中的目标模型201对输入的该图像进行检测后得出检测结果，再将该检测结果输出至摄像设备或直接在执行设备210的显示界面(若有)进行显示；此外，在本申请的一些实施方式中，客户设备240也可以集成在执行设备210中，如，当执行设备210为自动驾驶车辆时，则可以直接通过该自动驾驶车辆的摄像头拍摄到图像或者接收其他设备(如，手机)发送的图像，再由该自动驾驶车辆内的计算模块211对该图像进行检测后得出检测结果，并直接将该检测结果呈现在手机的显示界面。此处对执行设备210与客户设备240的产品形态不做限定。

值得注意的，图4仅是本申请实施例提供的一种图像处理系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图4中，数据存储系统250相对执行设备210是外部存储器，在其它情况下，也可以将数据存储系统250置于执行设备210中；在图4中，客户设备240相对执行设备210是外部设备，在其他情况下，客户设备240也可以集成在执行设备210中。

还需要说明的是，在本申请一些实施方式中，目标模型201还可以拆分成多个子模块/子单元以共同实现本申请实施例所提供的方案，具体此处不做限定。

还需要说明的是，上述实施例所述的目标模型201的训练可以是均在云侧实现，例如，可以由云侧的训练设备220(该训练设备220可设置在一个或多个服务器或者虚拟机上)获取训练集(该训练集所包括的训练样本已经进行了各个类型的真值标注)，并根据训练集内的训练样本对目标模型进行训练，得到训练后的目标模型201，之后，该训练后的目标模型201再发送给执行设备210进行应用，例如，发送给自动驾驶车辆的相关系统(如，ADAS、ADS等)进行车道线检测，示例性地，图4对应的系统架构中所述，就是由训练设备220对目标模型201进行整体训练，训练后的目标模型201再发送给执行设备210进行使用；上述实施例所述的目标模型201的训练也可以是均在终端侧实现，即训练设备220可以是位于终端侧，例如，可以由轮式移动设备(如，自动驾驶车辆、辅助驾驶车辆等)获取训练集(该训练集所包括的训练样本已经进行了各个类型的真值标注)，并根据训练集内的训练样本对目标模型201进行训练，得到训练后的目标模型201，该训练后的目标模型201就可以直接在该终端设备使用，也可以由该终端设备发送给其他的设备进行使用。具体本申请实施例对目标模型201在哪个设备(云侧或终端侧)上进行训练或应用不做限定。

需要说明的是，由于图4所述的训练后的目标模型201(或图4所述的执行设备210)可部署在各种轮式移动设备中，用于对该轮式移动设备上搭载的摄像机拍摄到的路面上的相关感知信息(如，视频或图像)进行处理，输出预测车道线，该预测车道线输入轮式移动设备的下游模块进行进一步处理，下面以轮式移动设备为自动驾驶车辆为例对训练后的目标模型的部署位置及自动驾驶车辆的总体架构进行说明，具体请参阅图5，图5示意的是自上而下的分层式体系架构，各系统之间可有定义接口，用于对系统间的数据进行传输，以保证数据的实时性和完整性。下面对各个系统进行简单介绍：

(1)环境感知系统

环境感知是自动驾驶车辆中最为基础的一个部分，无论是做驾驶行为决策还是全局路径规划，都需要建立在环境感知的基础上，依据对道路交通环境的实时感知结果，进行相对应的判断、决策和规划，使车辆实现智能驾驶。

环境感知系统主要是利用各种传感器获取相关的环境信息，从而完成对环境模型的构建以及对于交通场景的知识表达，所使用的传感器包括一个或多个摄像机、单线雷达(SICK)、四线雷达(IBEO)、三维激光雷达(HDL-64E)等，其中，摄像机采集到的视频或图像主要是负责红绿灯检测、车道线检测、道路指示牌检测、车辆识别等；其他的激光雷达传感器主要负责动\静态的关键障碍物的检测、识别和跟踪，以及道路边界、灌木带、周边建筑物等非关键障碍物的检测和提取。在本申请实施例中，利用的是摄像机拍摄到的路面相关的感知数据，即路面的待检测图像，该待检测图像(可以是摄像机直接拍摄的图像，也可以是从摄像机拍摄的视频中提取到的图像，这里对待检测图像不做限定)输入到本申请实施例构建的训练后的目标模型，经过该训练后的目标模型检测后，输出对待检测图像中真实车道线的预测结果(即预测车道线)，该预测结果可以直接作为自动驾驶车辆下游模块(如，自主决策系统)进行进一步处理，也可以输入到环境感知系统中的其他模型(如，地图构造模型，图5未示意出)，用于与其他感知信息共同构建得到一张能表达道路环境的占据栅格地图(occupancy grid map，OGM)，最后将该OGM发送给自主决策系统做进一步的决策和规划。

(2)自主决策系统

自主决策系统是自动驾驶车辆中的关键组成部分，该系统主要分为行为决策和运动规划这两个核心子系统，其中，行为决策子系统主要是通过运行全局规划层来获取全局最优行驶路线，以明确具体驾驶任务，再根据环境感知系统发来的当前实时道路信息(如，预测车道线)，基于道路交通规则和驾驶经验，决策出合理的驾驶行为，并将该驾驶行为指令发送给运动规划子系统；运动规划子系统则是根据接收的驾驶行为指令以及当前的局部环境感知信息，基于安全性、平稳性等指标规划处一条可行驾驶轨迹，并发送给控制系统。

(3)控制系统

控制系统具体来说也分为两个部分：控制子系统和执行子系统，其中，控制子系统用于将自主决策系统产生的可行驾驶轨迹转化为各个执行模块的具体执行指令，并传递给执行子系统；执行子系统接收来自控制子系统的执行指令后将其发送给各个控制对象，对车辆的转向、制动、油门、档位等进行合理的控制，从而使车辆自动行驶以完成对应的驾驶操作。

需要说明的是，在自动驾驶车辆的行驶过程中，自动驾驶车辆的驾驶操作的准确性主要取决于控制系统产生的针对各个执行模块的具体执行指令是否准确，而准确与否又取决于自主决策系统，自主决策系统又面临不确定性，该不确定性因素主要包括以下几个方面：1)环境感知系统中的各个传感器特性及标定误差带来的不确定性，不同传感器的感知机理、感知范围以及相应的误差模式是不一样的，并且其在自动驾驶车辆上安装带来的标定误差，最终都会反映在感知信息的不确定性上；2)环境感知系统数据处理延迟带来的不确定性，这是因为道路环境复杂，数据信息量庞大，这使得环境感知系统数据处理的计算量也大，而整个环境是时刻在变化的，这就必然会导致数据信息的延迟，从而影响自主决策系统的正确判断；3)对感知信息处理方式的不同也会带来不确定性，以本申请实施例为例，若采用传统的基于回归的方式或基于分割的方式的车道线检测方法，则会带来车道线检测精度不高的问题，已有的车道线检测方式不能满足自动驾驶车辆越来越苛刻的应用场景，若能提高车道线检测精度，也就能相应减少自主决策系统的不确定性，进而提高控制系统产生的针对各个执行模块的具体执行指令的准确性。

还需要说明的是，图5所示的自动驾驶车辆的总体架构仅为示意，在实际应用中，可包含更多或更少的系统/子系统或模块，并且每个系统/子系统或模块可包括多个部件，具体此处不做限定。

结合上述描述，本申请实施例提供了一种模型的训练方法和车道线的检测方法，可分别应用于目标模型的训练阶段和推理阶段，下面分别进行描述。

一、训练阶段

本申请实施例中，训练阶段为上述图4中训练设备220利用训练集中的训练样本对目标模型201执行训练操作的过程。具体请参阅图6，图6为本申请实施例提供的模型的训练方法的一种流程示意图，具体可以包括：

601、对训练集中的训练样本标注真值，该真值包括第一类型的真值集、第二类型的真值集以及第三类型的真值集，第一类型的真值集内的真值用于表征属于车道线的特征点，第二类型的真值集内包括用于表征目标特征点到目标车道线上第一点的第一方向信息的真值，第三类型的真值集内包括用于表征目标特征点与目标车道线第一端点之间的第一距离的真值，目标特征点为所述第一类型的真值集中的任意一个，第一点位于目标车道线的前进方向，第一端点为目标车道线在前进方向上的端点，目标车道线为目标特征点位于的车道线。

首先，需要对训练集中的每个训练样本标注不同类型的真值，标注的真值包括第一类型的真值集、第二类型的真值集以及第三类型的真值集，下面对如何进行真值标注进行详细介绍：

(1)第一类型的真值集的标注过程

在本申请实施例中，第一类型的真值集内的真值是用于表征属于车道线的特征点的，该特征点也可以称为关键前景点。

具体地，在本申请的一些实施方式中，该标注方式可以是：首先，基于训练集中的训练样本得到车道线点列，车道线点列就用于表示在该训练样本中属于车道线的像素点，并基于车道线点列得到特征点。

具体地，在训练过程中，首先可以采用语义分割方式预测属于车道线的点和不属于车道线的点，即得到分割图，如图7所示。分割图的主要作用是在进行车道线预测的时候生成车道线检测的候选起点(即进行车道线预测的起始点)，例如，可以是基于非极大值抑制(non-maximum suppression，NMS)、取平均值等方式从模型输出的分割图中获取关键前景点。其中，每个关键前景点都可以对应预测出一条车道线。例如，假设第一类型的真值集内包括8个关键前景点，那么就可基于每个关键前景点各自的转移集合和距离集合分别预测出8条预测车道线，最后再基于NMS、取平均值、拟合等方式得到最终的车道线预测结果。

这里需要说明的是，在实际操作中，如果有车道线的语义分割标注的话，就可以直接使用车道线的语义分割标注进行真值标注。需注意的是，由于实际的数据集往往只包含车道线中心线的标注，若只使用车道线中心线进行训练的话，那么每次参与训练的数据过少，训练效率过低，会使得模型收敛过慢。因此，对于这种情况，本申请实施例可以根据经验参数对车道线进行适应性拓宽，实践中拓宽操作不会对车道线预测结果有影响。

(2)第二类型的真值集的标注过程

由于车道线的形状是扁长的，而CNN的感受野是有限的，局部预测能够精细的刻画车道线的细节，因此，本申请引入第二类型的真值集(即转移集合)来描述局部信息。该局部信息包括车道线前进方向的局部信息以及车道线后继方向的局部信息，下面分别介绍具体的标注过程：

A、前进方向的转移集合

在本申请实施例中，第二类型的真值集内包括用于表征目标特征点到目标车道线上第一点的方向信息(可称为第一方向信息)的真值，该第一点位于目标车道线的前进方向，目标车道线为目标特征点位于的车道线，其中，该目标特征点为第一类型的真值集内的任意一个，在实际应用过程中，可以将第一类型的真值集内的任意一个特征点作为目标特征点。例如，假设对于分割图A来说，第一类型的真值集内有8个特征点(即关键前景点)，那么每个特征点都对应有自身的前进方向的第一方向信息，分割图上所有特征点所各自对应的前进方向上的第一方向信息就可定义为前进方向的转移集合。

具体地，在本申请的一些实施方式中，该标注方式具体可以参阅图8所示：首先，在第一类型的真值集内任取一个特征点作为目标特征点S，再以该目标特征点S为中心、预设步长r为半径画圆，得到的圆为目标圆，该目标圆与目标车道线的中心线K在前进方向上的交点就为所述的第一点P。之后，根据该目标特征点S与第一点P之间的相对位置关系标注所述的第一方向信息，该第一方向信息就属于所述前进方向的转移集合中的一个元素。

需要说明的是，在本申请的一些实施方式中，第一方向信息可以使用前驱向量进行表示，在这种表示方式中，本申请规定相对于当前的目标特征点而言，在车辆前进方向的特征点为前驱特征点，由当前的目标特征点指向前驱特征点的向量为前驱向量，通过该前驱向量，可以从该当前的目标特征点转移到车辆前进方向上的车道线中心线上的下一个特征点。对于该前驱向量的表达形式，可以是使用横向/纵向偏移表示，如图9所示的向量回归表示法；也可以是直接进行角度预测，如图10所示的向量分类表示法，本申请对前驱向量的具体表达方式的形式不做限定。

还需要说明的是，在本申请上述实施方式中，前驱向量是车道线中心线与目标圆在前进方向的交点与目标特征点之间的向量，基于车道线中心线来表征前驱向量是为了使得模型在训练过程中能快速收敛，及时纠偏。此外，由于车道线有一定的宽度且车道线的边缘近似于平行，因此，在本申请的另一些实施方式中，前驱向量也可以是车道线非中心线与目标圆在前进方向的交点与目标特征点之间的向量，如图11所示，可以是车道线内的偏右边缘的1/3处的线(如图11中的(a)子示意图所示)，也可以是车道线内的偏左侧边缘的1/3处的线(如图11中的(b)子示意图所示)，还可以是车道线内的其他位置处的线，具体本申请对此不做限定。为便于阐述，在本申请下述表述中，均以车道线中心线为例进行说明。

还需要说明的是，在本申请的另一些实施方式中，将第一类型的真值集内的每个特征点均作为所述的目标特征点，重复上述所述的标注方式，直到得到每个特征点各自对应的第一方向信息，这些第一方向信息构成前进方向的转移集合，使得前进方向的转移集合具备完备性。

B、后继方向的转移集合

在本申请实施例中，第二类型的真值集内还可以包括用于表征目标特征点到目标车道线上第二点的方向信息(可称为第二方向信息)的真值，该第二点位于目标车道线的后继方向，目标车道线为目标特征点位于的车道线，其中，该目标特征点为第一类型的真值集内的任意一个，在实际应用过程中，可以将第一类型的真值集内的任意一个特征点作为目标特征点。例如，假设对于分割图A来说，第一类型的真值集内有8个特征点(即关键前景点)，那么每个特征点都对应有自身的前进方向的第二方向信息，分割图上所有特征点所各自对应的前进方向上的第二方向信息就可定义为后继方向的转移集合。

具体地，在本申请的一些实施方式中，该标注方式具体可以参阅图12所示：首先，在第一类型的真值集内任取一个特征点作为目标特征点S，再以该目标特征点S为中心、预设步长r为半径画圆，得到的圆为目标圆，该目标圆与目标车道线的中心线K在后继方向上的交点就为所述的第二点Q。之后，根据该目标特征点S与第二点Q之间的相对位置关系标注所述的第二方向信息，该第二方向信息就属于所述后继方向的转移集合中的一个元素。

需要说明的是，在本申请的一些实施方式中，第二方向信息可以使用后继向量进行表示，在这种表示方式中，本申请规定与车辆行驶方向相反的方向为后继方向，相对于当前的目标特征点而言，在车辆后继方向的特征点为后继特征点，由当前的目标特征点指向后继特征点的向量为后继向量，通过该后继向量，可以从该当前的目标特征点转移到车辆后继方向上的车道线中心线上的下一个特征点。对于该后继向量的表达形式，同样可以是使用横向/纵向偏移表示，也可以是直接进行角度预测，具体可参阅图9、图10的向量表示法，此处不予赘述，本申请对后继向量的具体表达方式的形式不做限定。

同样还需要说明的是，在本申请上述实施方式中，后继向量是车道线中心线与目标圆在前进方向的交点与目标特征点之间的向量，基于车道线中心线来表征后继向量是为了使得模型在训练过程中能快速收敛，及时纠偏。此外，由于车道线有一定的宽度且车道线的边缘近似于平行，因此，在本申请的另一些实施方式中，后继向量也可以是车道线非中心线与目标圆在前进方向的交点与目标特征点之间的向量，如图11所示，具体本申请对此不做限定。

还需要说明的是，在本申请的另一些实施方式中，将第一类型的真值集内的每个特征点均作为所述的目标特征点，重复上述所述的标注方式，直到得到每个特征点各自对应的第二方向信息，这些第二方向信息构成后继方向的转移集合，使得后继方向的转移集合具备完备性。

这里需要注意的是，在本申请实施例中，所述的车道线的前进方向、后继方向是基于道路通行方向(或称为交通法规允许的车辆行驶方向)来说的，以图13为例，图13示意的是并行的两车道，道路通行方向如图13中宽箭头所示，对于图13中的目标车辆来说，该目标车辆车头朝向的方向就为车道线的前进后向，该目标车辆车尾朝向的方向就为车道线的后继方向。在以下实施例中，车道线的前进方向、后继方向是类似的，以下不再赘述。

前进方向的转移集合和后继方向的转移集合可以统称为转移集合，如图14所示，图14示意的是转移集合(包括前进方向的转移集合和后继方向的转移集合)构建的一个示意图，具体地，将第一类型的真值集内的每个特征点均作为所述的目标特征点，重复上述所述的标注方式，直到得到每个特征点各自对应的第一方向信息以及第二方向信息，这些第一方向信息以及第二方向信息就构成整体的转移集合。

需要说明的是，在本申请实施例中，前进方向的转移集合用于预测车道线的前向分支，后继方向的转移集合用于预测车道线的后向分支。在一些应用场景中，若不需要用到后向分支，那么在对训练样本标注第二类型的真值集时可以只包括前进方向的转移集合；在另一些应用场景中，在对训练样本标注第二类型的真值集时是既需要包括前进方向的转移集合，又需要包括后继方向的转移集合，具体情形由实际应用场景决定，本申请对此不做限定。

为便于理解，下面以一个具体的实例为例对前驱向量、后继向量的构建进行介绍：

假设给定一张图像I∈R^H×W×3以及该图像的二值分割图S∈R^H×W×1(用于区别属于车道线的像素点和不属于车道线的像素点)，对于任何一个二值分割图上的目标特征点p_i＝(x_i,y_i)∈S，首先找到其对应的车道线γ_L，这里是使用距离最短法来找到对应的目标车道线的，即目标特征点p_i距离哪个车道线最近，就认为其对应哪个车道线(也可以使用其他方法找到目标特征点对应的车道线，本申请对此不做限定)。车道线γ_L的前向端点和后向端点(指的是车道线两端的点)分别记为

和

这里f代表前向，即车辆的行驶方向，b代表后向，与车辆的行驶方向相反的方向。那么对于目标特征点p_i＝(x_i,y_i)∈S而言，前向距离标量D^f(p_i)可定义为如下式(1)所示：

而后向距离标量D^b(p_i)可以定义为如下式(2)所示：

为了生成目标特征点p_i的前驱向量和后继向量，首先需要找到该目标特征点在车道线γ_L上的前向邻居特征点和后向邻居特征点(即与目标特征点前后相邻的特征点)，分别记为

和

值得注意的是，该目标特征点到前后邻居特征点的距离是提前设定的步长d(d可自定义，如可取8个像素点的长度)，即：

从而对于目标特征点p_i，其前驱向量

可用如下式(4)表示：

类似地，目标特征点p_i的后继向量

可用如下式(5)表示：

类似地，对于每个特征点，都是经过上述类似的处理，从而完成对训练样本进行第二类型的真值集标注。

(3)第三类型的真值集的标注过程

由上述第二类型的真值集的标注过程可知，根据一个目标特征点，并凭借构建的转移集合能够有效的将一条车道线解码出来，但是转移集合对于车道线末端难以进行有效的预测，因此本申请引入第三类型的真值集(即距离集合)来描述预测车道线与当前的目标特征点之间的距离，整个预测过程由于只需要粗略的全局信息(因为只需要距离信息)，因此鲁棒性高。在目标车辆的视野中，每一条车道线都有两个端点，因此本申请预测的距离集合可以分为两个。在本申请实施例中，认为车辆行驶的方向为前向，从当前点出发，向着车辆前进的方向能够看到的车道线最远的点认为是前向端点(即图13所示的第一端点)；从当前点出发，向着车辆后退的方向能够看到的车道线最远的点认为是后向端点(即图13所示的第二端点)，与之相对的是前向距离集合和后向距离集合，下面分别介绍具体的标注过程：

A、前向距离集合

在本申请实施例中，第三类型的真值集内包括用于表征目标特征点到目标车道线上第一端点之间的距离(可称为第一距离)的真值，该第一端点为目标车道线在前进方向上的端点，即前向端点。目标车道线为目标特征点位于的车道线，其中，该目标特征点为第一类型的真值集内的任意一个，在实际应用过程中，可以将第一类型的真值集内的任意一个特征点作为目标特征点。

具体地，第一距离也可称为前向距离标量，记为FDS(如图15所示的FDS)，在本申请的一些实施方式中，该标注方式具体可以是：首先，计算目标特征点与目标车道线的第一端点之间的第一距离(即FDS)，并将第一类型的真值集内每个特征点作为目标特征点，重复上述步骤，直至得到每个特征点各自对应的第一距离，每个特征点各自对应的第一距离属于第三类型的真值集。也就是遍历第一类型的真值集内的每个特征点的前向距离标量可以形成前向距离集合FDF∈R^H×W×1。例如，假设对于分割图A来说，第一类型的真值集内有8个特征点(即关键前景点)，那么每个特征点都对应有自身的前进方向的第一距离，分割图上所有特征点所各自对应的前进方向上的第一距离就可定义为前向距离集合。对于前向距离集合而言，每个特征点都对应了一个前向距离标量，其表示了每一个特征点到前向端点的距离，或者表示可以计算得到预测车道线前向分支需要迭代的次数，迭代的次数也就是前向距离标量除以预设步长d。

B、后向距离集合

在本申请实施例中，第三类型的真值集内还可以包括用于表征目标特征点到目标车道线上第二端点之间的距离(可称为第二距离)的真值，该第二端点为目标车道线在后继方向上的端点，即后继端点。目标车道线为目标特征点位于的车道线，其中，该目标特征点为第一类型的真值集内的任意一个，在实际应用过程中，可以将第一类型的真值集内的任意一个特征点作为目标特征点。

具体地，第二距离也可称为后向距离标量，记为BDS(如图15所示的BDS)，在本申请的一些实施方式中，该标注方式具体可以是：首先，计算目标特征点与目标车道线的第二端点之间的第二距离(即BDS)，并将第一类型的真值集内每个特征点作为目标特征点，重复上述步骤，直至得到每个特征点各自对应的第二距离，每个特征点各自对应的第二距离也属于第三类型的真值集。也就是遍历第一类型的真值集内的每个特征点的后向距离标量可以形成后向距离集合BDF∈R^H×W×1。

同样地，为便于理解，下面以一个具体的实例为例对前向距离标量、后向距离标量的构建进行介绍：

和

具体的表达式如上述式(1)和式(2)所示，此处不予赘述。

需要说明的是，上述对训练样本进行真值标注的过程可以是人工标注，也可以是机器标注，具体本申请对此不做限定。

综上所述，对于训练集中任意一个训练样本，都可先经过第一类型的真值集的标注过程，得到属于车道线的至少一个特征点，然后，针对每个特征点p_i，得到该特征点对应的前驱向量

和后继向量

(在一些应用场景中，也可以只得到前驱向量

)、该特征点对应的前向距离标量D^f(p_i)和后向距离标量D^b(p_i)(在一些应用场景中，也可以只得到前向距离标量D^f(p_i))，具体可参阅图16，每个特征点都进行上述所述的标注，就可完成第二类型的真值集标注过程和第三类型的真值集标注过程。

602、利用目标损失函数，采用训练集对目标模型进行训练，得到训练后的目标模型，目标损失函数根据第一损失函数、第二损失函数以及第三损失函数得到，第一损失函数与第一类型的真值集对应，第二损失函数与所述第二类型的真值集对应，第三损失函数与所述第三类型的真值集对应。

在对训练集中的训练样本标注了真值之后，就可以利用事先构建好的损失函数(可称为目标损失函数)，采用所述的训练集对目标模型进行训练，直至达到预设的训练终止条件，从而得到训练后的目标模型。

需要注意的是，在本申请实施例中，目标损失函数可以根据第一损失函数、第二损失函数以及第三损失函数得到，其中，第一损失函数与第一类型的真值集对应，第二损失函数与所述第二类型的真值集对应，第三损失函数与所述第三类型的真值集对应。

例如，假设目标损失函数记为Loss，第一损失函数记为Loss1、第二损失函数记为Loss2、第三损失函数记为Loss3，那么目标损失函数Loss可表示为：

Loss＝k₁*Loss1+k₂*Loss2+k₃*Loss3 (6)

其中，k₁、k₂、k₃为大于零的预设系数。

需要说明的是，在本申请的一些实施方式中，第一损失函数可以为交叉熵损失函数L_SEG，具体可表示为如下式(7)所示：

还需要说明的是，在本申请的另一些实施方式中，第二损失函数或第三损失函数可以为L1范数损失函数，也可以为L2范数损失函数，具体本申请对此不做限定。以第二损失函数为L1范数损失函数为例，L1范数损失函数可记为smooth_L1(x)，其具体可表示为如下式(8)所示：

综上所述，目标模型的训练过程可如图17所示：首先，对于训练样本X，先对该训练样本进行真值标注过程，具体的标注过程如上述步骤601所述，从而得到分割图(用于得到特征点)、前进方向的转移集合、后继方向的转移集合、前向距离集合以及后向距离集合(在一些实施例中，可以仅得到分割图、前进方向的转移集合以及前向距离集合，本申请对此不做限定)。同时，该训练样本X，会被输入目标模型，并经过不同的网络特征头输出分别对应的特征图1、特征图2、特征图3、特征图4、特征图5，根据各个特征图各自对应的损失函数来训练该目标模型，直至达到训练终止条件，得到训练后的目标模型。

需要说明的是，在本申请的一些实施方式中，利用目标损失函数对目标模型进行训练时应该训练到何种程度可以有多种判断方式，下面提供一些结束对该目标模型继续训练的终止条件，包括但不限于：

(1)目标损失函数达到预设阈值。

在配置好该目标损失函数后，可事先对该目标损失函数设置一个阈值(如，0.03)，在对目标模型进行迭代训练的过程中，每次训练结束后都判断当前轮次训练得到的目标损失函数的取值是否达到阈值，若没达到，则继续训练，若达到设置的预设阈值，则终止训练，那么该当前轮次训练确定的目标模型的网络参数的取值就作为最终训练好的目标模型的网络参数取值。

(2)目标损失函数开始收敛。

在配置好该目标损失函数后，就可对目标模型进行迭代训练，若当前轮次训练得到的目标损失函数的取值与上一轮次训练得到的目标损失函数的取值之间的差值在预设范围(如，在0.01)之内，则认为该目标损失函数收敛了，则可终止训练，那么该当前轮次训练确定的目标模型的网络参数的取值就作为最终训练好的目标模型的网络参数取值。

(3)训练达到预设次数。

在这种方式中，可预先配置对目标模型进行训练的迭代次数(如，1000次)，在配置好该目标损失函数后，可对目标模型进行迭代训练，每个轮次训练结束后，都将对应该轮次的目标模型的网络参数的取值存储下来，直至训练的迭代次数达到预设次数，之后，利用测试数据对各个轮次得到的目标模型进行验证，从中选择性能最好的那个网络参数的取值作为该目标模型最终的网络参数的取值。

需要说明的是，在本申请的一些实施方式中，根据经验值，在实际的训练过程中，本申请具体可以使用320*800的图片大小作为输入的训练样本，使用adamw作为优化器，学习率设置为6*e^-4、批尺寸(batchsize)为32、训练的epoch数为20、转移集合的预设步长设置为10来训练最终的目标模型。

二、推理阶段

本申请实施例中，推理阶段为上述图4中执行设备210利用训练好的目标模型201进行车道线检测的过程。对每一张待检测的图像，本申请都可以使用此训练后的模型去预测车道线，从而得到最终的预测结果。下面来详细解说一下这个过程，具体请参阅图18，图18为本申请实施例提供的车道线的检测方法的一种流程示意图，具体可以包括：

1801、获取目标图像，并基于训练后的目标模型得到该目标图像的预测值，该预测值包括第一类型的预测值集、第二类型的预测值集以及第三类型的预测值集，第一类型的预测值集包括用于表征属于车道线的预测特征点，第二类型的预测值集内包括与目标预测特征点对应的第一预测方向信息，第三类型的预测值集内包括与目标预测特征点对应的第一预测距离。

执行设备获取目标图像，并基于训练后的目标模型得到该目标图像的预测值，其中，该预测值包括第一类型的预测值集(即预测的车道线分割图)、第二类型的预测值集(即预测的转移集合)以及第三类型的预测值集(即预测的距离集合)，第一类型的预测值集包括用于表征属于车道线的预测特征点，第二类型的预测值集内包括与目标预测特征点对应的第一预测方向信息，第三类型的预测值集内包括与目标预测特征点对应的第一预测距离。第一预测方向信息为指向目标车道线前进方向的信息，第一预测距离为目标车道线在前进方向上的端点与目标预测特征点之间的预测距离，目标预测特征点为所述第一类型的预测值集中的任意一个，训练后的目标模型经由上述训练过程得到。

需要说明的是，在训练过程中，由于第二类型的真值集可以仅包括前进方向的转移集合，也可以既包括前进方向的转移集合，又包括后继方向的转移集合，因此，在本申请的一些实施方式中，第二类型的预测值集可以仅包括前进方向的预测转移集合，也可以既包括前进方向的预测转移集合，又包括后继方向的预测转移集合。类似地，由于第三类型的真值集可以仅包括前向距离集合，也可以既包括前向距离集合，又包括后向距离集合，因此，在本申请的一些实施方式中，第三类型的预测值集也可以仅包括前向的预测距离集合，也可以既包括前向的预测距离集合，又包括后向的预测距离集合。也就是，在本申请的一些实施方式中，第二类型的预测值集内还可以包括与目标预测特征点对应的第二预测方向信息，第三类型的预测值集内还可以包括与目标预测特征点对应的第二预测距离，第二预测方向信息为指向目标车道线后继方向的信息，第二预测距离为目标车道线在后继方向上的端点与目标预测特征点之间的预测距离。

1802、根据该预测值得到至少一条预测车道线。

在得到目标图像的预测值的之后，执行设备再基于该预测值得到至少一条预测车道线。

这里需要注意的是，由于第二类型的预测值集可以仅包括前进方向的预测转移集合，也可以既包括前进方向的预测转移集合，又包括后继方向的预测转移集合；第三类型的预测值集也可以仅包括前向的预测距离集合，也可以既包括前向的预测距离集合，又包括后向的预测距离集合。其中，前进方向的预测转移集合以及前向的预测距离集合用于预测车道线的前向分支，后继方向的预测转移集合以及后向的预测距离集合用于预测车道线的后向分支。下面具体说明车道线的前向分支以及后向分支分别是如何进行预测的：

(1)预测车道线的前向分支

在这种情况下，第二类型的预测值集中包括前进方向的转移集合，第三类型的预测值集中包括前向的预测距离集合。首先，根据前进方向的转移集合中的目标预测特征点、第一预测方向信息以及第一预测距离，得到与目标预测特征点对应的目标预测车道线的前向分支，目标预测车道线为至少一条预测车道线中的一条。具体过程可以是：根据目标预测特征点以及第一预测方向信息预测属于目标预测车道线上的第一预测点，之后，将第一预测点作为新的目标预测特征点，根据第二类型的预测值集，重复执行上述步骤，直至最后一次得到的第一预测点与目标预测特征点之间的距离达到所述第一预测距离，最后，将目标预测特征点以及得到的每个第一预测点依次有序连接，得到目标预测车道线的前向分支。

(2)预测车道线的后向分支

在这种情况下，第二类型的预测值集中包括后继方向的转移集合，第三类型的预测值集中包括后向的预测距离集合。首先，根据目标预测特征点、第二预测方向信息以及第二预测距离，得到与目标预测特征点对应的目标预测车道线的后向分支，目标预测车道线为至少一条预测车道线中的一条。具体过程可以是：根据目标预测特征点以及第二预测方向信息预测属于该目标预测车道线上的第二预测点，之后，将第二预测点作为新的目标预测特征点，根据第二类型的预测值集，重复执行上述步骤，直至最后一次得到的第二预测点与目标预测特征点之间的距离达到所述第二预测距离，最后，将目标预测特征点以及得到的每个第二预测点依次有序连接，得到目标预测车道线的后向分支。

为便于理解，下面以一个具体的实例为例，对上述车道线的预测过程进行说明，请参阅图19和图20，图19为本申请实施例提供的车道线的检测过程的一个流程示意图，图20为本申请实施例提供的车道线的检测过程的一个形象实例过程的示意图，首先，向训练后的目标模型中输入一张目标图像，通过该训练后的目标模型预测出该目标图像的车道线分割图、前进方向的预测转移集合、后继方向的预测转移集合、前向的预测距离集合、后向的预测距离集合，如图21所示的单条车道线的解码过程的示意图。在测试时，根据输入的目标图像预测出车道线的语义分割图，然后对语义分割图进行稀疏化处理，例如可利用NMS进行稀疏化，得到一个点非常稀疏的关键特征点集S，关键特征点集S上的每一个预测特征点都可以作为一个车道线的起始点，用于恢复整条车道线。接下来从该关键特征点集S上任取一个作为起始点，从而来恢复整条车道线。假设起始点为目标预设特征点p，那么根据预测的前进方向的预测转移集合、前向的预测距离集合，可以得到p点所对应的前驱向量

和前向距离标量D^f(p)，根据前向距离标量D^f(p)和事先预设的步长d，可以得到恢复整条车道线前向分支所需要的步数T^f如式(9)所示：

由式(9)可知，p点的第一个相邻的前向预测特征点

的位置坐标就可以计算为如式(10)所示：

依次类推，对于第j+1个前向预测特征点

的位置坐标就可以计算为如式(11)所示：

经由上述过程，就可以得到一个有序点集

依次连接该有序点集里面的点，就可以得到以p点为起始点，该条车道线的前向分支。

同理，通过类似的操作，也可以得到以p点为起始点的该车道线后向分支的有序点集

依次连接该有序点集里面的点，就可以得到以p点为起始点，该条车道线的后向分支。

最后，将以p点为起始点，将得到的前向分支和后向分支曲线连接起来，从而就可以得到整条车道线，具体可参阅图21所示的单条车道线的解码过程的示意图，此处不予赘述。该条车道线可以表示为如下式(12)所示：

需要说明的是，对于关键特征点集上的每个目标预测特征点，都可以用上述的方式恢复得到一整条车道线。然后可以使用NMS等方式对所得到的所有车道线进行抑制，从而得到最终的预测结果作为输出。

需要说明的是，部署有上述所述训练后的目标模型的执行设备具体可以是各种轮式移动设备，例如，可以是轮式施工设备、自动驾驶车辆、辅助驾驶车辆等，只要是具备轮式可移动的设备就都称为本申请所述的轮式移动设备，自动驾驶车辆可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等，本申请实施例不做特别的限定。

本申请实施例方法在学术界公认的数据集上都取得了极佳的效果，如CULane、CurveLane、TuSimple以及Llamas等。为了对本申请实施例所带来的有益效果有更为直观的认识，以下在几个典型的数据集上对本申请实施例所带来的技术效果作进一步的对比：

(1)CULane数据集上本算法与SOTA算法的比较结果

CULane数据集标注了133235张图片，分成88880张作为训练集、9675作为验证集、34680做测试集。数据集包含黑夜、白天、眩光、阴影等情况，采集地包含城市、农村、高速等场景，由于其比较有代表性，现已成为车道线领域公认的数据集。在CULane数据集上算法对结果有明显提升，与现有最好的方法CondLaneNet相比较，本申请方法(即图22中的RCLaneDet)在F1-Measure这项评价指标上涨了1.02％个百分点，其中在道路拥挤场景和弯线场景上分别有1.69％和4.45％的涨幅，体现了经由本申请方法训练的模型在预测弯线和被遮挡的线时具有良好的性能。具体跟其他方法的比较结果如图22所示。

(2)CurveLane数据集上本算法与SOTA算法的比较结果

CurveLanes数据集是一个具有很多复杂场景的非常有挑战性的数据集，本申请方法(即图23中的RCLaneDet)对于具有复杂结构的车道线有很好的预测性能。同样相比于现有最好的方法CondLaneNet，本申请方法在F1-Measure这项评价指标上涨了5.33％个百分点，达到了91.43％。具体跟其他方法的比较结果如图23所示。

(3)TuSimple数据集上本算法与SOTA算法的比较结果

本申请训练后的模型在TuSimple上也取得了最好的F1-measure。在TuSimple数据集上的结果如图24所示。

(4)LLAMAS数据集上本算法与SOTA算法的比较结果

本申请训练后的模型在LLAMAS上同样也取得了最好的F1-measure。在TLLAMAS数据集上的结果如图25所示。

从预测的车道线的质量上来看，本申请方法对于弯线、部分被遮挡的线以及接近水平的线都有很好的预测性能。效果对比图如图26和图27所示，图26为本申请训练后的模型与其他方法在CULane数据集上的车道线预测效果对比图，图27为本申请训练后的模型与其他方法在CurvelLane数据集上的车道线预测效果对比图。

此外，现有的车道线检测方法，无法有效的预测出来弯道。基于回归的方法，通常会因为独立的预测点的预测能力难以覆盖整条车道线，导致其远端预测混乱。基于分割的方法，通常会因为不同的车道线之间的实例混淆导致不同车道线之间连接错误。本申请方法虽然也预测分割图，其主要目的是根据分割结果获得车道线的特征点，然后根据其中一个起始点(即目标特征点)，依照转移集合和距离集合来预测整条车道线，降低了对分割结果的依赖，从而大大降低了因为实例归并错误而引起的车道线误链接，并且因为每个点都是局部的，因此能够更加精确的刻画车道线的局部信息，从而增加车道线预测圆弧线的精准程度。具体可如参阅图28所示的本申请方法针对弯道的改进示意图。

还需要注意的是，现有的车道线检测技术无法检测出岔道。为了将不同的车道线区别开来检测，往往通过聚类或者实例分割的方式，但是聚类往往对于Y-型线或者交汇线束手无策，无法应对真实的驾驶场景。本申请通过设置前向以及后继的做法，根据选择的候选特征点，双向生成车道线实例，在遇到分叉道路的时候，在岔道两臂上的候选特征点能够分别双向生成实例，在分叉道路公共部分的时候，转移场发生交汇，从而归并成同一条车道线，这样更符合分叉车道线的预设，实验也证明本申请方法在检测分叉车道线是的性能优越性。具体可如参阅图29所示的本申请方法针对分叉线的改进示意图。

由于智慧城市、智能驾驶等领域中都可以用到本申请实施例中的训练好的目标模型来对车道线进行检测，下面将对多个落地到产品的多个应用场景进行介绍。

(1)自动驾驶

在自动驾驶中，车道线检测，对于自动驾驶车辆的准确定位，以及对驾驶决策的影响是相当重要的。车道线作为路面最主要的指示信息之一，它可以有效地引导智能车辆在约束的道路区域内行驶，实时地检测出路面的车道线是智能车辆辅助驾驶系统中的重要环节，该技术有利于协助路径规划、进行道路偏移预警等功能，并且可为精确导航提供参照。本申请实施例训练后的目标模型就可部署在如图5所述的自动驾驶车辆上，用于实时对搭载的摄像机采集到的路面相关的待检测图像进行车道线检测。

(2)增强现实(Augmented Reality，AR)导航

随着汽车数量的与日俱增，人的活动范围也因之拓展，单纯依靠经验驾驶到达目的地的情况越来越少，人们的出行越来越依赖导航。传统的导航根据全球定位系统(globalpositioning system，GPS)信号将车辆位置投射到地图上，导航软件根据设定的目的地规划行驶路径，通过屏幕显示和语音播报的形式指引用户行驶至目的地。这样的展示方式需要司机在驾驶过程中将地图指引信息和语音播报信息与当前自车所处的真实世界连接起来，才能理解引导信息的具体含义。如果在驾驶时，遇到岔路却没有听清楚导航播报就很容易错过变道时机。

在AR导航中(如图30)，综合导航信息以及车道线检测结果，能够使系统根据车辆所在位置和车道线检测结果，推算出车辆的精准位置和变道的最佳时机，优化了引导信息展现形式，降低了用户的接收和理解成本，所见即所得，用户只用根据导航信息行动即可。准确的车道线检测信息与合理的导航信息相结合，可以有效地引导车辆在约束的道路区域内行驶，提高现阶段车载导航软件的使用体验。

应理解，上文介绍的自动驾驶和AR导航只是本申请实施例构建的目标模型及车道线检测方法所应用的两个具体场景，本申请实施例训练后的目标模型在应用时并不限于上述场景，其能够应用到任何需要进行车道线识别、车道线检测的场景中。

在上述实施例的基础上，为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图31，图31为本申请实施例提供的训练设备的一个结构示意图，该训练设备3100具体可以包括：标注模块3101以及训练模块3102，其中，标注模块3101，用于对训练集中的训练样本标注真值，标注的真值包括第一类型的真值集、第二类型的真值集以及第三类型的真值集。在本申请实施例中，第一类型的真值集内的真值是用于表征属于车道线的特征点的，该特征点也可以称为关键前景点。第二类型的真值集内包括用于表征目标特征点到目标车道线上第一点的方向信息(可称为第一方向信息)的真值，第三类型的真值集内包括用于表征目标特征点到目标车道线上第一端点之间的距离(可称为第一距离)的真值，该第一端点为目标车道线在前进方向上的端点，即前向端点。该第一点位于目标车道线的前进方向，目标车道线为目标特征点位于的车道线，其中，该目标特征点为第一类型的真值集内的任意一个，在实际应用过程中，可以将第一类型的真值集内的任意一个特征点作为目标特征点。训练模块3202，用于利用事先构建好的损失函数(可称为目标损失函数)，采用所述的训练集对目标模型进行训练，直至达到预设的训练终止条件，从而得到训练后的目标模型。在本申请实施例中，目标损失函数可以根据第一损失函数、第二损失函数以及第三损失函数得到，其中，第一损失函数与第一类型的真值集对应，第二损失函数与该第二类型的真值集对应，第三损失函数与该第三类型的真值集对应。

在一种可能的设计中，标注模块3101，具体用于执行第一标注方式，该第一标注方式包括：根据该目标特征点确定该目标车道线上的第一点，该第一点为目标圆与该目标车道线的中心线在该前进方向上的交点，该目标圆为以该目标特征点为中心、以预设步长为半径所确定的圆，之后，根据该目标特征点与该第一点的相对位置关系标注该第一方向信息，该第一方向信息属于该第二类型的真值集中的一个元素。

在一种可能的设计中，标注模块3101，具体还用于：将该第一类型的真值集内每个特征点作为该目标特征点，重复进行该第一标注方式，直至得到该每个特征点各自对应的第一方向信息，该每个特征点各自对应的第一方向信息属于该第二类型的真值集，使得该第二类型的真值集在前进方向上具备完备性。

在一种可能的设计中，第二类型的真值集内还可以包括用于表征目标特征点到目标车道线上第二点的方向信息(可称为第二方向信息)的真值，该第二点位于目标车道线的后继方向，目标车道线为目标特征点位于的车道线，其中，该目标特征点为第一类型的真值集内的任意一个，在实际应用过程中，可以将第一类型的真值集内的任意一个特征点作为目标特征点。

在一种可能的设计中，标注模块3101，具体用于执行第一标注方式，该第一标注方式还可以包括：根据该目标特征点确定该目标车道线上的第二点，该第二点为目标圆与该目标车道线的中心线在该后继方向上的交点，该目标圆为以该目标特征点为中心、以预设步长为半径所确定的圆，之后，根据该目标特征点与该第二点的相对位置关系标注该第二方向信息，该第二方向信息属于该第二类型的真值集中的一个元素。

在一种可能的设计中，标注模块3101，具体还用于：将该第一类型的真值集内每个特征点作为该目标特征点，重复执行该第一标注方式，直至得到该每个特征点各自对应的第二方向信息，该每个特征点各自对应的第二方向信息也属于该第二类型的真值集，使得该第二类型的真值集在后继方向上具备完备性。

在一种可能的设计中，标注模块3101，具体还用于执行第二标注方式，该第二标注方式包括：首先，计算目标特征点与目标车道线的第一端点之间的第一距离(即FDS)，并将第一类型的真值集内每个特征点作为目标特征点，重复上述步骤，直至得到每个特征点各自对应的第一距离，每个特征点各自对应的第一距离属于第三类型的真值集。

在一种可能的设计中，第三类型的真值集内还可以包括用于表征目标特征点到目标车道线上第二端点之间的距离(可称为第二距离)的真值，该第二端点为目标车道线在后继方向上的端点，即后继端点。

在一种可能的设计中，标注模块3101，具体还用于执行第二标注方式，该第二标注方式包括：首先，计算目标特征点与目标车道线的第二端点之间的第二距离(即BDS)，并将第一类型的真值集内每个特征点作为目标特征点，重复上述步骤，直至得到每个特征点各自对应的第二距离，每个特征点各自对应的第二距离也属于第三类型的真值集。

在一种可能的设计中，标注模块3101，具体还用于执行第三标注方式，该第三标注方式包括：首先，基于训练集中的训练样本得到车道线点列，车道线点列就用于表示在该训练样本中属于车道线的像素点，之后，根据该车道线点列标注出至少一个特征点(即关键前景点)，例如，可以是基于NMS、取平均值等方式从该车道线点列标注出至少一个特征点，该至少一个特征点就属于所述的第一类型的真值集。

需要说明的是，训练设备3100中各模块/单元之间的信息交互、执行过程等内容，与本申请中图6对应的方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供一种执行设备，请参阅图32，图32为本申请实施例提供的一种执行设备的示意图，执行设备3200包括：获取模块3201以及预测模块3202，其中，获取模块3201，用于获取目标图像，并基于训练后的目标模型得到该目标图像的预测值，其中，该预测值包括第一类型的预测值集(即预测的车道线分割图)、第二类型的预测值集(即预测的转移集合)以及第三类型的预测值集(即预测的距离集合)，第一类型的预测值集包括用于表征属于车道线的预测特征点，第二类型的预测值集内包括与目标预测特征点对应的第一预测方向信息，第三类型的预测值集内包括与目标预测特征点对应的第一预测距离。第一预测方向信息为指向目标车道线前进方向的信息，第一预测距离为目标车道线在前进方向上的端点与目标预测特征点之间的预测距离，目标预测特征点为该第一类型的预测值集中的任意一个，训练后的目标模型可以经由上述图6对应实施例所述的训练过程得到。在得到目标图像的预测值的之后，预测模块3202，用于基于该预测值得到至少一条预测车道线。

在一种可能的设计中，预测模块3202，具体用于：根据该目标预测特征点、该第一预测方向信息以及该第一预测距离，得到与该目标预测特征点对应的目标预测车道线的前向分支，该目标预测车道线为该至少一条预测车道线中的一条。

在一种可能的设计中，预测模块3202，具体还用于：根据目标预测特征点以及第一预测方向信息预测属于目标预测车道线上的第一预测点，之后，将第一预测点作为新的目标预测特征点，根据第二类型的预测值集，重复执行上述步骤，直至最后一次得到的第一预测点与目标预测特征点之间的距离达到该第一预测距离，最后，将目标预测特征点以及得到的每个第一预测点依次有序连接，得到目标预测车道线的前向分支。

在一种可能的设计中，在训练过程中，由于第二类型的真值集可以仅包括前进方向的转移集合，也可以既包括前进方向的转移集合，又包括后继方向的转移集合，因此，在本申请的一些实施方式中，第二类型的预测值集可以仅包括前进方向的预测转移集合，也可以既包括前进方向的预测转移集合，又包括后继方向的预测转移集合。类似地，由于第三类型的真值集可以仅包括前向距离集合，也可以既包括前向距离集合，又包括后向距离集合，因此，在本申请的一些实施方式中，第三类型的预测值集也可以仅包括前向的预测距离集合，也可以既包括前向的预测距离集合，又包括后向的预测距离集合。也就是，在本申请的一些实施方式中，第二类型的预测值集内还可以包括与目标预测特征点对应的第二预测方向信息，第三类型的预测值集内还可以包括与目标预测特征点对应的第二预测距离，第二预测方向信息为指向目标车道线后继方向的信息，第二预测距离为目标车道线在后继方向上的端点与目标预测特征点之间的预测距离。

在一种可能的设计中，预测模块3202，具体还用于：根据该目标预测特征点、该第二预测方向信息以及该第二预测距离，得到与该目标预测特征点对应的目标预测车道线的后向分支，该目标预测车道线为该至少一条预测车道线中的一条。

在一种可能的设计中，预测模块3202，具体还用于：根据目标预测特征点以及第二预测方向信息预测属于该目标预测车道线上的第二预测点，之后，将第二预测点作为新的目标预测特征点，根据第二类型的预测值集，重复执行上述步骤，直至最后一次得到的第二预测点与目标预测特征点之间的距离达到该第二预测距离，最后，将目标预测特征点以及得到的每个第二预测点依次有序连接，得到目标预测车道线的后向分支。

需要说明的是，执行设备3200中各模块/单元之间的信息交互、执行过程等内容，与本申请中图18对应的方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

接下来介绍本申请实施例提供的另一种训练设备，请参阅图33，图33为本申请实施例提供的训练设备的一种结构示意图，训练设备3300上可以部署有图31对应实施例中所描述的训练设备3100，用于实现图31对应实施例中训练设备3100的功能，具体的，训练设备3300由一个或多个服务器实现，训练设备3300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)3322和存储器3332，一个或一个以上存储应用程序3342或数据3344的存储介质3330(例如一个或一个以上海量存储设备)。其中，存储器3332和存储介质3330可以是短暂存储或持久存储。存储在存储介质3330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备3300中的一系列指令操作。更进一步地，中央处理器3322可以设置为与存储介质3330通信，在训练设备3300上执行存储介质3330中的一系列指令操作。

训练设备3300还可以包括一个或一个以上电源3326，一个或一个以上有线或无线网络接口3350，一个或一个以上输入输出接口3358，和/或，一个或一个以上操作系统3341，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

本申请实施例中，中央处理器3322，用于执行图6对应实施例中的训练设备执行的模型的训练方法。例如，中央处理器3322，用于：对训练集中的训练样本标注真值，标注的真值包括第一类型的真值集、第二类型的真值集以及第三类型的真值集。在本申请实施例中，第一类型的真值集内的真值是用于表征属于车道线的特征点的，该特征点也可以称为关键前景点。第二类型的真值集内包括用于表征目标特征点到目标车道线上第一点的方向信息(可称为第一方向信息)的真值，第三类型的真值集内包括用于表征目标特征点到目标车道线上第一端点之间的距离(可称为第一距离)的真值，该第一端点为目标车道线在前进方向上的端点，即前向端点。该第一点位于目标车道线的前进方向，目标车道线为目标特征点位于的车道线，其中，该目标特征点为第一类型的真值集内的任意一个，在实际应用过程中，可以将第一类型的真值集内的任意一个特征点作为目标特征点。之后利用事先构建好的损失函数(可称为目标损失函数)，采用所述的训练集对目标模型进行训练，直至达到预设的训练终止条件，从而得到训练后的目标模型。在本申请实施例中，目标损失函数可以根据第一损失函数、第二损失函数以及第三损失函数得到，其中，第一损失函数与第一类型的真值集对应，第二损失函数与该第二类型的真值集对应，第三损失函数与该第三类型的真值集对应。

需要说明的是，中央处理器3322执行上述各个步骤的具体方式，与本申请中图6对应的方法实施例基于同一构思，其带来的技术效果也与本申请上述实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

接下来介绍本申请实施例提供的一种执行设备，请参阅图34，图34为本申请实施例提供的执行设备的一种结构示意图，执行设备3400具体可以表现为各种终端设备，如手机、平板、笔记本电脑、智能穿戴设备、监控数据处理设备或者雷达数据处理设备等，此处不做限定。其中，执行设备3400上可以部署有图32对应实施例中所描述的执行设备3200，用于实现图32对应实施例中执行设备3200的功能。具体的，执行设备3400包括：接收器3401、发射器3402、处理器3403和存储器3404(其中执行设备3400中的处理器3403的数量可以一个或多个，图34中以一个处理器为例)，其中，处理器3403可以包括应用处理器34031和通信处理器34032。在本申请的一些实施例中，接收器3401、发射器3402、处理器3403和存储器3404可通过总线或其它方式连接。

存储器3404可以包括只读存储器和随机存取存储器，并向处理器3403提供指令和数据。存储器3404的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器3404存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。

处理器3403控制执行设备3400的操作。具体的应用中，执行设备3400的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。

本申请上述图18对应实施例揭示的方法可以应用于处理器3403中，或者由处理器3403实现。处理器3403可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器3403中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器3403可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specificintegrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器3403可以实现或者执行本申请图18对应的实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器3404，处理器3403读取存储器3404中的信息，结合其硬件完成上述方法的步骤。

接收器3401可用于接收输入的数字或字符信息，以及产生与执行设备3400的相关设置以及功能控制有关的信号输入。发射器3402可用于通过第一接口输出数字或字符信息；发射器3402还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器3402还可以包括显示屏等显示设备。

本申请实施例中，在一种情况下，处理器3403，用于通过训练后的目标模型对输入的目标图像进行车道线检测，得到对应的车道线检测结果。该训练后的目标模型可以是经过本申请图6对应的训练方法得到，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述图6所示实施例描述的训练设备所执行的步骤，或者，使得计算机执行如前述图18所示实施例描述的执行设备所执行的步骤。

本申请实施例提供的训练设备、执行设备等具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使训练设备内的芯片执行上述图6所示实施例描述的训练设备所执行的步骤，或者，使得执行设备内的芯片执行如前述图18所示实施例描述的执行设备所执行的步骤。

可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

具体的，请参阅图35，图35为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 200，NPU 200作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路2003，通过控制器2004控制运算电路2003提取存储器中的矩阵数据并进行乘法运算。

在一些实现中，运算电路2003内部包括多个处理单元(process engine,PE)。在一些实现中，运算电路2003是二维脉动阵列。运算电路2003还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路2003是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器2002中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器2001中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)2008中。

统一存储器2006用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(direct memory access controller，DMAC)2005，DMAC被搬运到权重存储器2002中。输入数据也通过DMAC被搬运到统一存储器2006中。

总线接口单元2010(bus interface unit，简称BIU)，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)2009的交互。

总线接口单元2010，用于取指存储器2009从外部存储器获取指令，还用于存储单元访问控制器2005从外部存储器获取输入矩阵A或者权重矩阵B的原数据。

DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器2006或将权重数据搬运到权重存储器2002中或将输入数据数据搬运到输入存储器2001中。

向量计算单元2007包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。

在一些实现中，向量计算单元2007能将经处理的输出的向量存储到统一存储器2006。例如，向量计算单元2007可以将线性函数和/或非线性函数应用到运算电路2003的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元2007生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路2003的激活输入，例如用于在神经网络中的后续层中的使用。

控制器2004连接的取指存储器(instruction fetch buffer)2009，用于存储控制器2004使用的指令；

统一存储器2006，输入存储器2001，权重存储器2002以及取指存储器2009均为On-Chip存储器。外部存储器私有于该NPU硬件架构。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

Claims

1.一种模型的训练方法，应用于车道线检测，其特征在于，包括：

对训练集中的训练样本标注真值，所述真值包括第一类型的真值集、第二类型的真值集以及第三类型的真值集，所述第一类型的真值集内的真值用于表征属于车道线的特征点，所述第二类型的真值集内包括用于表征目标特征点到目标车道线上第一点的第一方向信息的真值，所述第三类型的真值集内包括用于表征所述目标特征点与所述目标车道线第一端点之间的第一距离的真值，所述目标特征点为所述第一类型的真值集中的任意一个，所述第一点位于所述目标车道线的前进方向，所述第一端点为所述目标车道线在前进方向上的端点，所述目标车道线为所述目标特征点位于的车道线；

利用目标损失函数，采用所述训练集对目标模型进行训练，得到训练后的目标模型，所述目标损失函数根据第一损失函数、第二损失函数以及第三损失函数得到，所述第一损失函数与所述第一类型的真值集对应，所述第二损失函数与所述第二类型的真值集对应，所述第三损失函数与所述第三类型的真值集对应。

2.根据权利要求1所述的方法，其特征在于，所述对训练集中的训练样本标注真值包括对所述训练集中的所述训练样本进行第二类型的真值标注，第一标注方式包括：

根据所述目标特征点确定所述目标车道线上的第一点，所述第一点为目标圆与所述目标车道线的中心线在所述前进方向上的交点，所述目标圆为以所述目标特征点为中心、以预设步长为半径所确定的圆；

根据所述目标特征点与所述第一点的相对位置关系标注所述第一方向信息，所述第一方向信息属于所述第二类型的真值集。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述第一类型的真值集内每个特征点作为所述目标特征点，重复进行所述第一标注方式，直至得到所述每个特征点各自对应的第一方向信息，所述每个特征点各自对应的第一方向信息属于所述第二类型的真值集。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述第二类型的真值集内还包括：

用于表征所述目标特征点到所述目标车道线上第二点的第二方向信息的真值，所述第二点位于所述目标车道线的后继方向。

5.根据权利要求4所述的方法，其特征在于，所述对训练集中的训练样本标注真值包括对所述训练集中的所述训练样本进行第二类型的真值标注，第一标注方式还包括：

根据所述目标特征点确定所述目标车道线上的第二点，所述第二点为目标圆与所述目标车道线的中心线在所述后继方向上的交点，所述目标圆为以所述目标特征点为中心、以预设步长为半径所确定的圆；

根据所述目标特征点与所述第二点的相对位置关系标注所述第二方向信息，所述第二方向信息属于所述第二类型的真值集。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述第一类型的真值集内每个特征点作为所述目标特征点，重复执行所述第一标注方式，直至得到所述每个特征点各自对应的第二方向信息，所述每个特征点各自对应的第二方向信息也属于所述第二类型的真值集。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述对训练集中的训练样本标注真值还包括对所述训练集中的所述训练样本进行第三类型的真值标注，第二标注方式包括：

计算所述目标特征点与所述目标车道线的第一端点之间的第一距离；

将所述第一类型的真值集内每个特征点作为所述目标特征点，重复上述步骤，直至得到所述每个特征点各自对应的第一距离，所述每个特征点各自对应的第一距离属于所述第三类型的真值集。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述第三类型的真值集内还包括：

用于表征所述目标特征点与所述目标车道线的第二端点之间的第二距离，所述第二端点为所述目标车道线在后继方向上的端点。

9.根据权利要求8所述的方法，其特征在于，所述对训练集中的训练样本标注真值还包括对所述训练集中的所述训练样本进行第三类型的真值标注，第二标注方式还包括：

计算所述目标特征点与所述目标车道线的第二端点之间的第二距离；

将所述第一类型的真值集内每个特征点作为所述目标特征点，重复上述步骤，直至得到所述每个特征点各自对应的第二距离，所述每个特征点各自对应的第二距离也属于所述第三类型的真值集。

10.根据权利要求1-9中任一项所述的方法，其特征在于，所述对训练集中的训练样本标注真值包括对训练集中的训练样本进行第一类型的真值标注，第三标注方式包括：

基于训练集中的训练样本得到车道线点列，所述车道线点列用于表示在所述训练样本中属于车道线的像素点；

根据所述车道线点列标注至少一个特征点，所述至少一个特征点属于所述第一类型的真值集。

11.根据权利要求1-10中任一项所述的方法，其特征在于，所述第一损失函数为交叉熵损失函数。

12.根据权利要求1-11中任一项所述的方法，其特征在于，所述第二损失函数或所述第三损失函数包括：L1范数损失函数，或，L2范数损失函数。

13.一种车道线的检测方法，其特征在于，包括：

获取目标图像，并基于训练后的目标模型得到所述目标图像的预测值，所述预测值包括第一类型的预测值集、第二类型的预测值集以及第三类型的预测值集，所述第一类型的预测值集包括用于表征属于车道线的预测特征点，所述第二类型的预测值集内包括与目标预测特征点对应的第一预测方向信息，所述第三类型的预测值集内包括与所述目标预测特征点对应的第一预测距离，所述第一预测方向信息为指向目标车道线前进方向的信息，所述第一预测距离为所述目标车道线在前进方向上的端点与所述目标预测特征点之间的预测距离，所述目标预测特征点为所述第一类型的预测值集中的任意一个，所述训练后的目标模型根据所述权利要求1-12中任一项所述的方法训练得到；

根据所述预测值得到至少一条预测车道线。

14.根据权利要求13所述的方法，其特征在于，所述根据所述预测值得到至少一条预测车道线包括：

根据所述目标预测特征点、所述第一预测方向信息以及所述第一预测距离，得到与所述目标预测特征点对应的目标预测车道线的前向分支，所述目标预测车道线为所述至少一条预测车道线中的一条。

15.根据权利要求14所述的方法，其特征在于，所述根据所述目标预测特征点、所述第一预测方向信息以及所述第一预测距离，得到与所述目标预测特征点对应的目标预测车道线的前向分支包括：

根据所述目标预测特征点以及所述第一预测方向信息预测属于所述目标预测车道线上的第一预测点；

将所述第一预测点作为新的目标预测特征点，根据所述第二类型的预测值集，重复执行上述步骤，直至最后一次得到的第一预测点与所述目标预测特征点之间的距离达到所述第一预测距离；

将所述目标预测特征点以及得到的每个第一预测点依次有序连接，得到所述目标预测车道线的前向分支。

16.根据权利要求13-15中任一项所述的方法，其特征在于，

所述第二类型的预测值集内还包括与所述目标预测特征点对应的第二预测方向信息，所述第三类型的预测值集内还包括与所述目标预测特征点对应的第二预测距离，所述第二预测方向信息为指向目标车道线后继方向的信息，所述第二预测距离为所述目标车道线在后继方向上的端点与所述目标预测特征点之间的预测距离。

17.根据权利要求16所述的方法，其特征在于，所述根据所述预测值得到至少一条预测车道线还包括：

根据所述目标预测特征点、所述第二预测方向信息以及所述第二预测距离，得到与所述目标预测特征点对应的目标预测车道线的后向分支，所述目标预测车道线为所述至少一条预测车道线中的一条。

18.根据权利要求17所述的方法，其特征在于，所述根据所述目标预测特征点、所述第二预测方向信息以及所述第二预测距离，得到与所述目标预测特征点对应的目标预测车道线的后向分支包括：

根据所述目标预测特征点以及所述第二预测方向信息预测属于所述目标预测车道线上的第二预测点；

将所述第二预测点作为新的目标预测特征点，根据所述第二类型的预测值集，重复执行上述步骤，直至最后一次得到的第二预测点与所述目标预测特征点之间的距离达到所述第二预测距离；

将所述目标预测特征点以及得到的每个第二预测点依次有序连接，得到所述目标预测车道线的后向分支。

19.一种训练设备，其特征在于，包括：

标注模块，用于对训练集中的训练样本标注真值，所述真值包括第一类型的真值集、第二类型的真值集以及第三类型的真值集，所述第一类型的真值集内的真值用于表征属于车道线的特征点，所述第二类型的真值集内包括用于表征目标特征点到目标车道线上第一点的第一方向信息的真值，所述第三类型的真值集内包括用于表征所述目标特征点与所述目标车道线第一端点之间的第一距离的真值，所述目标特征点为所述第一类型的真值集中的任意一个，所述第一点位于所述目标车道线的前进方向，所述第一端点为所述目标车道线在前进方向上的端点，所述目标车道线为所述目标特征点位于的车道线；

训练模块，用于利用目标损失函数，采用所述训练集对目标模型进行训练，得到训练后的目标模型，所述目标损失函数根据第一损失函数、第二损失函数以及第三损失函数得到，所述第一损失函数与所述第一类型的真值集对应，所述第二损失函数与所述第二类型的真值集对应，所述第三损失函数与所述第三类型的真值集对应。

20.根据权利要求19所述的训练设备，其特征在于，所述标注模块，具体用于执行第一标注方式，所述第一标注方式包括：

21.根据权利要求20所述的训练设备，其特征在于，所述标注模块，具体还用于：

22.根据权利要求19-21中任一项所述的训练设备，其特征在于，所述第二类型的真值集内还包括：

23.根据权利要求22所述的训练设备，其特征在于，所述标注模块，具体用于执行第一标注方式，所述第一标注方式包括：

24.根据权利要求23所述的训练设备，其特征在于，所述标注模块，具体还用于：将所述第一类型的真值集内每个特征点作为所述目标特征点，重复执行所述第一标注方式，直至得到所述每个特征点各自对应的第二方向信息，所述每个特征点各自对应的第二方向信息也属于所述第二类型的真值集。

25.根据权利要求19-24中任一项所述的训练设备，其特征在于，所述标注模块，具体用于执行第二标注方式，所述第二标注方式包括：

26.根据权利要求19-25中任一项所述的训练设备，其特征在于，所述第三类型的真值集内还包括：

27.根据权利要求26所述的训练设备，其特征在于，所述标注模块，具体用于执行第二标注方式，所述第二标注方式包括：

28.根据权利要求19-27中任一项所述的训练设备，其特征在于，所述标注模块，具体用于执行第三标注方式，所述第三标注方式包括：

29.一种执行设备，其特征在于，包括：

获取模块，用于获取目标图像，并基于训练后的目标模型得到所述目标图像的预测值，所述预测值包括第一类型的预测值集、第二类型的预测值集以及第三类型的预测值集，所述第一类型的预测值集包括用于表征属于车道线的预测特征点，所述第二类型的预测值集内包括与目标预测特征点对应的第一预测方向信息，所述第三类型的预测值集内包括与所述目标预测特征点对应的第一预测距离，所述第一预测方向信息为指向目标车道线前进方向的信息，所述第一预测距离为所述目标车道线在前进方向上的端点与所述目标预测特征点之间的预测距离，所述目标预测特征点为所述第一类型的预测值集中的任意一个，所述训练后的目标模型根据所述权利要求1-12中任一项所述的方法训练得到；

预测模块，用于根据所述预测值得到至少一条预测车道线。

30.根据权利要求29所述的执行设备，其特征在于，所述预测模块，具体用于：

31.根据权利要求30所述的执行设备，其特征在于，所述预测模块，具体还用于：

32.根据权利要求29-31中任一项所述的执行设备，其特征在于，所述第二类型的预测值集内还包括与所述目标预测特征点对应的第二预测方向信息，所述第三类型的预测值集内还包括与所述目标预测特征点对应的第二预测距离，所述第二预测方向信息为指向目标车道线后继方向的信息，所述第二预测距离为所述目标车道线在后继方向上的端点与所述目标预测特征点之间的预测距离。

33.根据权利要求32所述的执行设备，其特征在于，所述预测模块，具体还用于：

34.根据权利要求33所述的执行设备，其特征在于，所述预测模块，具体还用于：

35.一种训练设备，包括处理器和存储器，所述处理器与所述存储器耦合，其特征在于，

所述存储器，用于存储程序；

所述处理器，用于执行所述存储器中的程序，使得所述训练设备执行如权利要求1-12中任一项所述的方法。

36.一种执行设备，包括处理器和存储器，所述处理器与所述存储器耦合，其特征在于，

所述存储器，用于存储程序；

所述处理器，用于执行所述存储器中的程序，使得所述执行设备执行如权利要求13-18中任一项所述的方法。

37.一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1-18中任一项所述的方法。

38.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如权利要求1-18中任一项所述的方法。

39.一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行如权利要求1-18中任一项所述的方法。