CN116129382A - 车道线检测模型的训练方法、车道线检测方法及电子设备 - Google Patents

Abstract

本申请公开了一种车道线检测模型的训练方法、车道线检测方法及电子设备，车道线检测模型的训练方法包括从车道线标识图片中获取车道线类别信息对应的第一掩码图和车道线所属车道信息对应的第二掩码图，第一掩码图中不同的车道线类别对应相同和/或不同的权重，第二掩码图中不同车道线所属车道对应不同的权重，利用第一掩码图和/或第二掩码图生成用于车道线检测模型训练的损失函数，基于得到的损失函数，将第一掩码图用于车道线检测模型的训练；本申请的方案，通过对不同车道线所属车道给与不同的权重，即增大重要位置的权重，使模型在训练过程中对重要位置投入更高的关注度，使得训练后的模型对重要位置的车道线进行检测时得到更好的检测效果。

Description

车道线检测模型的训练方法、车道线检测方法及电子设备

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种车道线检测模型的训练方法、车道线检测方法及电子设备。

背景技术

车道线是依据交通规则画在道路面上用于引导交通的标线，在车辆的高级辅助驾驶或自动驾驶中，车道线作为实现车道居中保持、车道偏离预警、自适应巡航、变道、行为预测、消失点预测、在线标定、高精地图匹配等多种功能的关键信息，对车道线的准确检测是必不可少的。

目前，一些现有方法是通过边缘检测、滤波等检测车道线区域，然后结合算法进行车道线检测，但是工作量较大，且泛化能力差；还有一些方法是通过模型无差别检测全部的车道线，但是，若车辆所在的车道的车道线出现漏检，会导致计算出的车道线居中位置出现较大偏差，影响自动驾驶安全。

发明内容

本申请至少提供一种车道线检测模型的训练方法、车道线检测方法及电子设备，以解决上述问题。

本申请第一方面提供了一种车道线检测模型的训练方法，所述方法包括：获取车道线标识图片，其中所述车道线标识图片是对真实车道线图片进行标识得到的，所述车道线标识图片标识有所述真实车道线图片中的任意条车道线及其车道线类别信息和车道线所属车道信息；从所述车道线标识图片中获取所述车道线类别信息对应的第一掩码图以及所述车道线所属车道信息对应的第二掩码图，其中所述第一掩码图中不同车道线类别对应相同和/或不同的权重，所述第二掩码图中不同车道线所属车道对应不同的权重；利用所述第一掩码图和/或所述第二掩码图，生成用于所述车道线检测模型训练的损失函数；基于所述损失函数，将所述第一掩码图用于所述车道线检测模型的训练。

在一实施例中，所述车道线类别信息包括实线标识和虚线标识；所述车道线所属车道信息包括当前车道标识、相邻车道标识和其他车道标识；所述第一掩码图中，所述实线标识的权重与所述虚线标识的权重相同；所述第二掩码图中，所述当前车道标识的权重大于所述相邻车道标识的权重，所述相邻车道标识的权重大于所述其他车道标识的权重。

在一实施例中，所述第一掩码图中，不同车道线类别的权重通过相应的车道线的像素点值表示；所述第二掩码图中，不同车道线所属车道的权重通过相应的车道线所属车道的像素点值表示。

在一实施例中，利用所述第一掩码图和所述第二掩码图，生成用于所述车道线检测模型训练的损失函数，包括：按照所述第一掩码图中不同车道线类别对应相同和/或不同的权重，生成用于所述车道线检测模型训练的第一子损失函数；按照所述第二掩码图中不同车道线所属车道对应不同的权重，生成用于所述车道线检测模型训练的第二子损失函数；将所述第一子损失函数和第二子损失函数进行组合处理，以得到所述损失函数。

在一实施例中，所述获取车道线标识图片，包括：确定所述真实车道线图片中的所述任意条车道线；利用预设形状对所述任意条车道线进行标注，并给所述任意条车道线标识相应的车道线类别和车道线所属车道，以得到所述车道线标识图片。

在一实施例中，车道线检测模型的训练方法进一步包括：将所述真实车道线图片输入到所述车道线检测模型中，以得到所述真实车道线图片的预测值，其中所述真实车道线图片的预测值包括所述真实车道线图片中当前车道的预测值、相邻车道的预测值以及其他车道的预测值；获取所述真实车道线图片的预测值与所述真实车道线图片的真实值之间的第一交并比，所述当前车道的预测值与所述当前车道的真实值之间的第二交并比，所述相邻车道的预测值与所述相邻车道的真实值之间的第三交并比，以及所述其他车道的预测值与所述其他车道的真实值之间的第四交并比；利用所述第一交并比和所述第二交并比、所述第三交并比和/或所述第四交并比，对所述车道线检测模型进行评价。

在一实施例中，所述第一交并比的公式如下：

其中，k表示类别的总类别数，i表示任一像素点的真实值，j表示任一像素点的预测值，p_ij表示将i检测为j，p_ji表示将j检测为i，p_ii表示将i检测为i。

本申请第二方面提供了一种车道线检测方法，包括：获取原始车道线图片；将所述原始车道线图片输入到预设检测模型中，以检测到所述原始车道线图片中任意条车道线；其中，所述预设检测模型是通过第一方面中的车道线检测模型的训练方法训练得到的模型。

本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面中的车道线检测模型的训练方法或上述第二方面中的车道线检测方法。

本申请第四方面提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质用于存储程序指令，所述程序指令在被处理器执行时，用于实现上述第一方面中的车道线检测模型的训练方法或上述第二方面中的车道线检测方法。

上述方案，获取车道线标识图片，通过从车道线标识图片中获取车道线类别信息对应的第一掩码图和车道线所属车道信息对应的第二掩码图，其中，第一掩码图中不同的车道线类别对应相同和/或不同的权重，第二掩码图中不同车道线所属车道对应不同的权重，利用第一掩码图和/或第二掩码图，生成用于车道线检测模型训练的损失函数，基于得到的损失函数，将第一掩码图用于车道线检测模型的训练；本申请的方案，通过对不同车道线所属车道给与不同的权重，即增大重要位置的权重，使车道线检测模型在训练过程中对重要位置投入更高的关注度，以使得训练后的车道线检测模型对重要位置的车道线进行检测时得到更好的检测效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请实施例中车道线检测模型的训练方法的流程示意图；

图2是本申请实施例中车道线标识图片的场景示意图；

图3(a)是本申请实施例中第一掩码图的场景示意图；

图3(b)是本申请实施例中第二掩码图的场景示意图；

图4是本申请实施例中车道线检测方法的流程示意图；

图5是本申请实施例中电子设备的结构示意图；

图6是本申请实施例中非易失性计算机可读存储介质的结构示意图。

具体实施方式

下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。另外，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

如上述，一些现有方法是通过边缘检测、滤波等检测车道线区域，然后结合算法进行车道线检测，但是工作量较大，且泛化能力差；还有一些方法是通过模型无差别检测全部的车道线，但是，若车辆所在的车道的车道线出现漏检，会导致计算出的车道线居中位置出现较大偏差，影响自动驾驶安全。

为此，本申请提供一种车道线检测模型的训练方法、车道线检测方法及电子设备，以解决上述问题。

请参阅图1，图1是本申请实施例中车道线检测模型的训练方法的流程示意图。需注意的是，若有实质上相同的结果，本申请的方法并不以图1所示的流程顺序为限。本方法可以应用于具有计算等功能的电子设备，电子设备可通过接收传感器设备采集的信息，执行本方法，传感器设备可以是模型训练车辆装备的毫米波雷达、激光雷达或摄像头，传感器设备在模型训练车辆行驶过程中感知车辆周边真实物理世界动态场景，场景中包括道路上的车道线、车辆、行人、建筑物等。如图1所示，车道线检测模型的训练方法包括如下步骤：

S11、获取车道线标识图片，其中车道线标识图片是对真实车道线图片进行标识得到的，车道线标识图片标识有真实车道线图片中的任意条车道线及其车道线类别信息和车道线所属车道信息。

可以利用图像传感器对道路上的真实车道线图片进行采集，例如，将图像传感器安装于一可移动的设备上。其中，该可移动的设备可以是自动移动设备，如机器人、模型训练车辆等。

在一些实施例中，图像传感器可以照相机，如按照预设时间间隔进行图像拍摄，以得到真实车道线图片；也可以是录像机，如在预设时间段内持续记录，以得到真实车道线图片。在一个实施例中，图像传感器可以是应用于模型训练并满足感知精度要求的，可提供真实车道线图片的任何图像设备。

在一应用场景中，自动驾驶车辆在道路上行驶，通过设置于该自动驾驶车辆上的图像传感器获取自动驾驶车辆前方道路上的真实车道线图片。

得到真实车道线图片后，对真实车道线图片进行标识。其中，图2是本申请实施例中车道线标识图片的场景示意图，如图2所示，对真实车道线图片进行标识的过程中，需要对真实车道线图片中的任意条车道线及其车道线类别信息和车道线所属车道信息进行标识，以得到车道线标识图片。其中，任意条车道线表征真实车道线图片中的车道线的数量可以是任意数值，例如0、1、2、3……，具体数值依据真实车道线图片中的车道线的数量确定，不作具体限定。

对任意条车道线及其车道线类别信息和车道线所属车道信息进行标识，可以利用不同的预设符号对不同车道线的车道线类别信息和车道线所属车道信息进行标识，例如，可以采用不同的数字、不同的字母，或不同颜色进行标识，或其它能够实现的标识方式，根据实际使用需求进行设置即可，不做具体限定。例如，在一应用场景中，采用预设标注软件对真实车道线图片中的车道线及其车道线类别信息和车道线所述车道信息进行标注，通过人工在真实车道线图片上依据车道线的轮廓绘制多边形框，绘制完成后可以选择相应的车道线类别信息和车道线所属车道信息，以实现对真实车道线图片进行标注，从而得到车道线标识图片。对于标识得到的车道线标识图片，可以在后台相应的保存一个标签文件，如文件格式为‘.json’的标签文件。其中，标签文件内存储了车道线标识图片相应的多边形框的位置信息、车道线类别信息以及车道线所属车道信息，多边形框的位置信息可以按照坐标的形式进行保存，车道线类别信息和车道线所属车道信息可以按照文字的形式进行保存。

S12、从车道线标识图片中获取车道线类别信息对应的第一掩码图以及车道线所属车道信息对应的第二掩码图，其中第一掩码图中不同车道线类别对应相同和/或不同的权重，第二掩码图中不同车道线所属车道对应不同的权重。

获取到车道线标识图片后，对车道线标识图片进行处理，以从车道线标识图片中获取车道线类别信息对应的第一掩码图以及车道线所属车道信息对应的第二掩码图。其中，图3(a)是本申请实施例中第一掩码图的场景示意图，如图3(a)所示，对车道线标识图片进行处理得到车道线类别信息对应的第一掩码图的过程中，可以对图片背景和车道线类别信息分别打上一个预设标签，如图片背景标签和车道线类别标签。在处理图片背景时，为减少干扰，可以将图片背景内的建筑物、车辆、行人等全部信息打上相同的标签，从而得到一个纯背景。

例如，预设标签可以是数字，图片背景为0、不同的车道线类别为1、2、…、n，从而得到第一掩码图。其中，第一掩码图中不同车道线类别对应有相同和/或不同的权重，即不同车道线类别对应的权重可以相同，也可以不同，根据实际使用需求进行设置即可，不作具体限定。但是，车道线类别对应的权重大于背景对应的权重；也即，不同车道线类别标签对应的权重可以是相同的，也可以是不同的，且均大于图片背景标签对应的权重。

图3(b)是本申请实施例中第二掩码图的场景示意图，如图3(b)所示，对车道线标识图片进行处理得到车道线所属车道信息对应的第二掩码图的过程中，可以对图片背景和车道线所属车道信息分别打上预设标签，如图片背景标签和车道线所属车道标签，从而得到第二掩码图。在处理图片背景时，同样的为减少干扰，将图片背景内的全部信息打上相同的标签，得到一个纯背景。其中，第二掩码图中不同车道线所属车道对应不同的权重，并且大于图片背景对应的权重。在模型训练过程中，对于车道线所属车道信息中一些不重要的车道线所属车道可以设置与图片背景相同的权重，进而使得模型对重要的车道线所属车道具有更高的关注度。也即，不同车道线所属车道标签对应的权重是不同的，其中一些不重要的车道线所属车道标签对应的权重可以与图片背景标签对应的权重相同。

另外，车道线标识图片中，车道线的数量可以为0条，此时，对车道线标识图片进行处理得到的第一掩码图和/或第二掩码图的过程中，整个车道线标识图片均被打上图片背景标签。

S13、利用第一掩码图和/或第二掩码图，生成用于车道线检测模型训练的损失函数。

得到第一掩码图和第二掩码图后，利用第一掩码图和/或第二掩码图生成用于车道线检测模型训练的损失函数。

S14、基于损失函数，将第一掩码图用于车道线检测模型的训练。

得到损失函数后，设计搭建一个车道线检测模型结构，车道线检测模型可以由降采样结构和上采样结构组成。基于损失函数，将第一掩码图用于车道线检测模型的训练。模型训练过程中，当损失函数满足预设条件时，得到训练好的车道线检测模型。

例如，车道线检测模型的输入可以是统一大小的RGB三通道原始图片，图片的宽可以记为W、高可以记为H，车道线检测模型的输入尺寸为W*H*3；车道线检测模型需要识别的车道线类别记为C，加上图片背景类，共需输出C+1个类别，则模型的输出大小是W*H*(C+1)。

上述方案，获取车道线标识图片，通过从车道线标识图片中获取车道线类别信息对应的第一掩码图和车道线所属车道信息对应的第二掩码图，其中，第一掩码图中不同的车道线类别对应相同和/或不同的权重，第二掩码图中不同车道线所属车道对应不同的权重，利用第一掩码图和/或第二掩码图，生成用于车道线检测模型训练的损失函数，基于得到的损失函数，将第一掩码图用于车道线检测模型的训练；本申请的方案，通过对不同车道线所属车道给与不同的权重，即增大重要位置的权重，使车道线检测模型在训练过程中对重要的位置投入更高的关注度，以使得训练后的车道线检测模型对重要位置的车道线进行检测时得到更好的检测效果。

如上述，第一掩码图中不同车道线类别对应相同和/或不同的权重，第二掩码图中不同车道线所属车道对应不同的权重。在本申请一实施例中，车道线类别信息包括实线标识和虚线标识；车道线所属车道信息包括当前车道标识、相邻车道标识和其他车道标识；第一掩码图中，实线标识的权重与虚线标识的权重相同；第二掩码图中，当前车道标识的权重大于相邻车道标识的权重，相邻车道标识的权重大于其他车道标识的权重。

车道线类别信息包括实线标识和虚线标识，可以理解的，实线标识表征的车道线为连续实线形状的车道线，虚线标识表征的车道线为间断的线段形状的车道线。对车道线标识图片进行处理得到车道线类别信息对应的第一掩码图的过程中，可以对图片背景和车道线类别信息分别打上一个预设标签，以得到图片背景标识、实线标识及虚线标识，从而得到第一掩码图。第一掩码图中，实线标识的权重与虚线标识的权重相同，且均大于图片背景标识的权重。

在其他实施例中，车道线类别信息还可以包括其它标识，如单线标识、双线标识、白线标识、黄线标识等，不做具体限定，均在本申请保护范围内。其中，单线标识、双线标识、白线标识、黄线标识对应的权重可以是相同的，也可以是不同的，根据实际使用需求进行设置即可，不作具体限定。例如，在一应用场景中，车道线类别信息包括单线标识、双线标识、白线标识、黄线标识，单线标识在车道线类别信息中占比较大，双线标识在车道线类别信息中占比较小，从而给占比较小的标识预设更高的权重，即双线标识对应的权重大于单线标识对应的权重；同理，黄线标识对应的权重大于白线标识对应的权重。

车道线所属车道信息包括当前车道标识、相邻车道标识和其他车道标识，可以理解的，当前车道标识表征的车道为自动驾驶车辆当前所处的车道，相邻车道标识表征的车道为自动驾驶车辆当前所处车道的相邻的车道，其他车道标识表征的车道为距离自动驾驶车辆当前所处车道更远的其他车道，其中，每一条车道均由两条车道线构成。对车道线标识图片进行处理得到车道线所属车道信息对应的第二掩码图的过程中，可以对车道线标识图片中的每一像素点分别打上一个预设标签，以得到图片背景标识、当前车道标识、相邻车道标识及其他车道标识，从而得到第二掩码图。

第二掩码图中，当前车道标识的权重大于相邻车道标识的权重，相邻车道标识的权重大于其他车道标识的权重。可以理解的，执行辅助驾驶/自动驾驶的车辆更关心当前车道和相邻车道的车道线信息，如车道居中保持功能，主要依赖自动驾驶车辆当前正在行驶的车道两侧的车道线；车辆的变道功能，主要依赖当前车道和相邻车道的车道线。对于距离自车较远的车道线，即，其他车道标识的车道线，对车辆后续规划决策几乎没有太大影响。其中，可以将其它车道的权重与图片背景的权重设置为相同，以减少对其他车道标识的关注，使得模型训练过程中，将更多的关注度给与当前车道标识和相邻车道标识。

如上述，第一掩码图中，实线标识的权重与虚线标识的权重相同；第二掩码图中，当前车道标识的权重大于相邻车道标识的权重，相邻车道标识的权重大于其他车道标识的权重。在本申请一实施例中，第一掩码图中，不同车道线类别的权重通过相应的车道线的像素点值表示；第二掩码图中，不同车道线所属车道的权重通过相应的车道线所属车道的像素点值表示。

第一掩码图中，车道线类别的权重通过相应的车道线的像素点值表示。可以理解的，在对真实车道线图片进行标识时，可以对真实车道线图片中的车道线的像素点进行标识，从而得到车道线标识图片。对车道线标识图片进行处理得到车道线类别信息对应的第一掩码图的过程中，可以对车道线标识图片中的每一像素点分别打上一个预设标签，以得到图片背景标识、实线标识及虚线标识，从而得到第一掩码图。进而，第一掩码图中，任一像素点值对应于图片背景标识、实线标识或虚线标识，从而，图片背景标识的权重通过相应的背景像素点值表示，实线标识的权重通过相应的车道线的像素点值表示，虚线标识的权重通过相应的车道线的像素点值表示。

第二掩码图中，不同车道线所属车道的权重通过相应的车道线所属车道的像素点值表示。可以理解的，在对真实车道线图片进行标识时，可以对真实车道线图片中的车道线的像素点进行标识，从而得到车道线标识图片。对车道线标识图片进行处理得到车道线所属车道信息对应的第二掩码图的过程中，可以对车道线标识图片中的每一像素点分别打上一个预设标签，以得到图片背景标识、当前车道标识、相邻车道标识及其他车道标识，从而得到第二掩码图。进而，第二掩码图中，任一像素点值对应于图片背景标识、当前车道标识、相邻车道标识或其他车道标识，从而，图片背景标识的权重通过相应的背景像素点值表示，当前车道标识的权重通过相应的车道线所属车道的像素点值表示，相邻车道标识的权重通过相应的车道线所属车道的像素点值表示，其他车道标识的权重通过相应的车道线所属车道的像素点值表示。

在本申请一实施例中，利用第一掩码图和第二掩码图，生成用于车道线检测模型训练的损失函数，包括：按照第一掩码图中不同车道线类别对应相同和/或不同的权重，生成用于车道线检测模型训练的第一子损失函数；按照第二掩码图中不同车道线所属车道对应不同的权重，生成用于车道线检测模型训练的第二子损失函数；将第一子损失函数和第二子损失函数进行组合处理，以得到损失函数。

按照第一掩码图中不同车道线类别对应的相同和/或不同的权重，生成用于车道线检测模型训练的第一子损失函数。可以理解的，由于车道线为细长形状，车道线的像素点在图片中像素点中占比较小，车道线的像素点与图片背景的像素点之间存在严重的不均衡，因此，不同车道线类别对应的相同和/或不同的权重均大于图片背景的权重，进而生成用于车道线检测模型训练的第一子损失函数。

例如，可以通过针对类别加权的交叉熵损失函数(Weighted CrossEntropy Loss)得到第一子损失函数，车道线类别包括实线标识和虚线标识，实线标识对应的权重与虚线标识对应的权重相同，如实线标识和虚线标识的权重可以是2，图片背景的权重可以是0.1；进而，在利用第一子损失函数对车道线检测模型进行训练时，当模型预测错误，会产生一个第一损失值，若预测错误的是图片背景的像素点，则相应的第一损失值的加权为0.1，即第一损失值乘0.1；若预测错误的是实线标识或虚线标识的像素点，则相应的第一损失值的加权为2，即第一损失值乘2。

按照第二掩码图中不同车道线所属车道对应不同的权重，生成用于车道线检测模型训练的第二子损失函数；不同车道线所属车道包括当前车道标识、相邻车道标识及其他车道标识，当前车道标识的权重大于相邻车道标识的权重，相邻车道标识的权重大于其他车道标识的权重，进而生成用于车道线检测模型训练的第二子损失函数。

例如，当前车道标识的权重为4，相邻车道标识的权重为2，其他车道标识的权重为1，图片背景的权重为1；进而，在利用第二子损失函数对车道线检测模型进行训练时，当模型预测错误，会产生一个第二损失值，若预测错误的是图片背景的像素点，则相应的第二损失值的加权为1，即第二损失值乘1；若预测错误的是其他车道标识的像素点，则相应的第二损失值的加权为1，即第二损失值乘1；若预测错误的是相邻车道标识的像素点，则相应的第二损失值的加权为2，即第二损失值乘2；若预测错误的是当前车道标识的像素点，则相应的第二损失值的加权为4，即第二损失值乘4。

将第一子损失函数和第二子损失函数进行组合处理，以得到损失函数。可以理解的，在第一子损失函数的基础上叠加第二子损失函数，能够得到用于车道线检测模型训练的损失函数，利用得到的损失函数对车道线检测模型进行训练，得到训练好的模型。即，在按照车道线类别的权值计算得到第一损失值的基础上，再进一步叠加车道线所属车道位置的权重，以得到叠加了车道线类别的权重和车道线所属车道位置的权重的损失值，使用该损失值进行模型训练的误差返传，进行模型的迭代训练，观察损失函数的收敛情况，当损失函数的收敛情况满足预设条件，得到训练好的模型。

如上述，车道线标识图片是对真实车道线图片进行标识得到的。在本申请一实施例中，获取车道线标识图片，包括：确定真实车道线图片中的任意条车道线；利用预设形状对任意条车道线进行标注，并给任意条车道线标识相应的车道线类别和车道线所属车道，以得到车道线标识图片。

确定真实车道线图片中的任意条车道线，利用预设形状对任意条车道线进行标注，其中，任意条车道线表征真实车道线图片中的车道线的数量可以是任意数值，例如0、1、2、3……，具体数值依据真实车道线图片中的车道线的数量确定，不作具体限定。例如，可以采用多边形框对车道线的像素点进行框选，实现对车道线进行标注，或者其他能够实现的标注方式均可，不做具体限定。对任意条车道线进行标注后，给任意条车道线标识响应的车道线类别和车道线所属车道，例如，可以采用文字对车道线类别和车道线所述车道进行标识，或者其他能够实现的标识方式均可，不做具体限定，从而得到车道线标识图片。

在本申请一实施例中，车道线检测模型的训练方法进一步包括：将真实车道线图片输入到车道线检测模型中，以得到真实车道线图片的预测值，其中真实车道线图片的预测值包括真实车道线图片中当前车道的预测值、相邻车道的预测值以及其他车道的预测值；获取真实车道线图片的预测值与真实车道线图片的真实值之间的第一交并比，当前车道的预测值与当前车道的真实值之间的第二交并比，相邻车道的预测值与相邻车道的真实值之间的第三交并比，以及其他车道的预测值与其他车道的真实值之间的第四交并比；利用第一交并比和第二交并比、第三交并比和/或第四交并比，对车道线检测模型进行评价。

基于损失函数对车道线检测模型训练好后，将真实车道线图片输入到训练好的车道线检测模型中，能够得到真实车道线图片的预测值。其中，真实车道线图片的预测值包括真实车道线图片中的当前车道的预测值、相邻车道的预测值以及其他车道的预测值。

基于真实车道线图片，通过人工标注的方式，得到真实车道线图片的真实值，真实车道线图片的真实值包括真实车道线图片中的当前车道的真实值、相邻车道的真实值以及其他车道的真实值。

采用平均交并比(Mean intersection over Union，MIoU)对模型进行评价，计算相应的真实值与预测值之间的平均交并比，即，计算真实车道线图片的预测值与真实车道线图片的真实值之间的第一交并比，当前车道的预测值与当前车道的真实值之间的第二交并比，相邻车道的预测值与相邻车道的真实值之间的第三交并比，以及其他车道的预测值与其他车道的真实值之间的第四交并比，并通过得到的第一交并比、第二交并比、第三交并比、第四交并比的值对模型进行评价。

可以理解的，真实车道线图片的预测值与真实车道线图片的真实值之间的第一交并比，是对全图的所有像素点进行计算得到的评价指标。当前车道的预测值与当前车道的真实值之间的第二交并比，是标注的当前车道的车道线位置构成的合围范围内全部像素点统计出的平均交并比。相邻车道的预测值与相邻车道的真实值之间的第三交并比，是标注的相邻车道的车道线位置构成的合围范围减去当前车道范围内全部像素点统计出的平均交并比。其他车道的预测值与其他车道的真实值之间的交并比，是标注的其他车道的车道线位置构成的合围范围减去当前车道范及相邻车道范围内全部像素点统计出的平均交并比。

通过对比实验，通过本申请方案训练得到的模型，相比于没有增加权重训练出来的模型，第一交并比有轻微下降，但当前车道对应的第二交并比和相邻车道对应的第三交并比的指标均有较大上升，表明本方案提出的模型训练方法，对于提高重要关注位置的车道线检测的准确率起到了积极作用。

获取真实车道线图片的预测值与真实车道线图片的真实值之间的第一交并比，当前车道的预测值与当前车道的真实值之间的第二交并比，相邻车道的预测值与相邻车道的真实值之间的第三交并比，以及其他车道的预测值与其他车道的真实值之前的第四交并比；利用第一交并比和第二交并比、第三交并比和/或第四交并比，对车道线检测模型进行评价。在本申请一实施例中，第一交并比的公式如下：

其中，k表示类别的总类别数，i表示任一像素点的真实值，j表示任一像素点的预测值，p_ij表示将i检测为j，p_ji表示将j检测为i，p_ii表示将i检测为i。

在一实施例中，第二交并比、第三交并比即第四交并比的计算公式均可以采用上述第一交并比的计算公式，或其它能够实现的计算方式均可，不做具体限定。

请参阅图4，图4是本申请实施例中车道线检测方法的流程示意图。车道线检测方法包括如下步骤：

S21、获取原始车道线图片。

获取原始车道线图片，通过设置于自动驾驶车辆上的图像传感器获取自动驾驶车辆前方道路上的原始车道线图片。

S22、将原始车道线图片输入到预设检测模型中，以检测到原始车道线图片中任意条车道线；其中，预设检测模型是通过上述实施例中的车道线检测模型的训练方法而得到的模型。

将原始车道线图片输入到预设检测模型中，以对原始车道线图片进行检测，从而检测到原始车道线图片中的任意条车道线。其中，预设检测模型是通过上述实施例中的车道线检测模型的训练方法得到的。任意条车道线表征真实车道线图片中的车道线的数量可以是任意数值，例如0、1、2、3……，具体数值依据真实车道线图片中的车道线的数量确定，不作具体限定。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

请参阅图5，图5是本申请实施例中电子设备的结构示意图。电子设备500包括相互耦接的存储器501和处理器502，处理器502用于执行存储器501中存储的程序指令，以实现上述的车道线检测模型的训练方法实施例中的步骤或上述的车道线检测方法实施例中的步骤。在一个具体的实施场景中，电子设备500可以包括但不限于：微型计算机、服务器，在此不做限定。

具体而言，处理器502用于控制其自身以及存储器501以实现上述的车道线检测模型的训练方法实施例中的步骤或上述的车道线检测方法实施例中的步骤。处理器502还可以称为CPU(Central Processing Unit，中央处理单元)，处理器502可能是一种集成电路芯片，具有信号的处理能力。处理器502还可以是通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器502可以由集成电路芯片共同实现。

请参阅图6，图6是本申请实施例中非易失性计算机可读存储介质的结构示意图。计算机可读存储介质600用于存储程序指令601，程序指令601在被处理器502执行时，用于实现上述的车道线检测模型的训练方法实施例中的步骤或上述的车道线检测方法实施例中的步骤。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和相关设备，可以通过其它的方式实现。例如，以上所描述的相关设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信断开连接可以是通过一些接口，装置或单元的间接耦合或通信断开连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种车道线检测模型的训练方法，其特征在于，包括：

获取车道线标识图片，其中所述车道线标识图片是对真实车道线图片进行标识得到的，所述车道线标识图片标识有所述真实车道线图片中的任意条车道线及其车道线类别信息和车道线所属车道信息；

从所述车道线标识图片中获取所述车道线类别信息对应的第一掩码图以及所述车道线所属车道信息对应的第二掩码图，其中所述第一掩码图中不同车道线类别对应相同和/或不同的权重，所述第二掩码图中不同车道线所属车道对应不同的权重；

利用所述第一掩码图和/或所述第二掩码图，生成用于所述车道线检测模型训练的损失函数；

基于所述损失函数，将所述第一掩码图用于所述车道线检测模型的训练。

2.根据权利要求1所述的方法，其特征在于，所述车道线类别信息包括实线标识和虚线标识；

所述车道线所属车道信息包括当前车道标识、相邻车道标识和其他车道标识；

所述第一掩码图中，所述实线标识的权重与所述虚线标识的权重相同；

所述第二掩码图中，所述当前车道标识的权重大于所述相邻车道标识的权重，所述相邻车道标识的权重大于所述其他车道标识的权重。

3.根据权利要求2所述的方法，其特征在于，所述第一掩码图中，不同车道线类别的权重通过相应的车道线的像素点值表示；

所述第二掩码图中，不同车道线所属车道的权重通过相应的车道线所属车道的像素点值表示。

4.根据权利要求1所述的方法，其特征在于，利用所述第一掩码图和所述第二掩码图，生成用于所述车道线检测模型训练的损失函数，包括：

按照所述第一掩码图中不同车道线类别对应相同和/或不同的权重，生成用于所述车道线检测模型训练的第一子损失函数；

按照所述第二掩码图中不同车道线所属车道对应不同的权重，生成用于所述车道线检测模型训练的第二子损失函数；

将所述第一子损失函数和第二子损失函数进行组合处理，以得到所述损失函数。

5.根据权利要求1所述的方法，其特征在于，所述获取车道线标识图片，包括：

确定所述真实车道线图片中的所述任意条车道线；

利用预设形状对所述任意条车道线进行标注，并给所述任意条车道线标识相应的车道线类别和车道线所属车道，以得到所述车道线标识图片。

6.根据权利要求2所述的方法，其特征在于，进一步包括：

将所述真实车道线图片输入到所述车道线检测模型中，以得到所述真实车道线图片的预测值，其中所述真实车道线图片的预测值包括所述真实车道线图片中当前车道的预测值、相邻车道的预测值以及其他车道的预测值；

获取所述真实车道线图片的预测值与所述真实车道线图片的真实值之间的第一交并比，所述当前车道的预测值与所述当前车道的真实值之间的第二交并比，所述相邻车道的预测值与所述相邻车道的真实值之间的第三交并比，以及所述其他车道的预测值与所述其他车道的真实值之间的第四交并比；

利用所述第一交并比和所述第二交并比、所述第三交并比和/或所述第四交并比，对所述车道线检测模型进行评价。

7.根据权利要求6所述的方法，其特征在于，所述第一交并比的公式如下：

其中，k表示类别的总类别数，i表示任一像素点的真实值，j表示任一像素点的预测值，p_ij表示将i检测为j，p_ji表示将j检测为i，p_ii表示将i检测为i。

8.一种车道线检测方法，其特征在于，包括：

获取原始车道线图片；

将所述原始车道线图片输入到预设检测模型中，以检测到所述原始车道线图片中任意条车道线；

其中，所述预设检测模型是通过如权利要求1-7中任一项所述的方法训练得到的模型。

9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现如权利要求1-7中任一项所述的车道线检测模型的训练方法或如权利要求8所述的车道线检测方法。

10.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令在被处理器执行时，用于实现如权利要求1-7中任一项所述的车道线检测模型的训练方法或如权利要求8所述的车道线检测方法。

Images