CN111639593A - 车道线标签处理方法及装置 - Google Patents

Abstract

本发明提供了一种车道线标签处理方法及装置，涉及汽车领域，首先获取初始图像，初始图像为车辆在预设车道拍摄的包含车道线的道路的图像，每条车道线对应一个编号，道路对应有车道属性；对初始图像进行车道线分割，确定车道线区域；将车道线区域在初始图像中的第一位置转换为车辆对应的目标三维坐标系下的第二位置；基于第二位置与车辆的位置关系、预设车道以及车道属性，确定车道线区域的车道线标签，车道线区域的车道线标签包括车道线区域所属的车道线的编号。本发明的车道线标签不仅能指示车道线的位置，还具有车道线语义，通过该车道线标签训练得到的图像分割模型可以同时识别出车道线的位置及语义，从而有利于快速生成高精度地图。

Description

车道线标签处理方法及装置

技术领域

本发明涉及汽车领域，尤其是涉及一种车道线标签处理方法及装置。

背景技术

高精度地图的生成很大程度上依赖于车道线的识别。目前，基于图像分割模型可以识别出图像中的车道线，而图像分割模型需要大量的训练数据进行训练，这些训练数据为具有车道线标签的图像。该车道线标签通常包括图像中车道线区域以及其对应的属性，即属于目标种类(车道线)或者不属于目标种类，这样训练得到的图像分割模型具有从图像中识别出车道线的功能。

为了快速生成高精度地图，需要对车道线的识别提出更高的要求。上述车道线标签虽然可以指示图像中车道线所在位置，但是通过车道线的位置还不足以生成高精度地图。因此，将上述车道线标签应用于车道线识别，不能够满足快速生成高精度地图的需求。

发明内容

本发明的目的在于提供一种车道线标签处理方法及装置，以缓解现有的车道线标签在用于车道线识别时，不能够满足快速生成高精度地图的需求的技术问题。

第一方面，本发明实施例提供一种车道线标签处理方法，所述方法包括：

获取初始图像，所述初始图像为车辆在预设车道拍摄的包含车道线的道路的图像，每条车道线对应一个编号，所述道路对应有车道属性，所述车道属性用于指示所述道路中车道线的位置关系；

对所述初始图像进行车道线分割，确定车道线区域；

将所述车道线区域在所述初始图像中的第一位置转换为所述车辆对应的目标三维坐标系下的第二位置；

基于所述第二位置与所述车辆的位置关系、所述预设车道以及所述车道属性，确定所述车道线区域的车道线标签，所述车道线区域的车道线标签包括所述车道线区域所属的车道线的编号。

在可选的实施方式中，所述方法还包括：

将具有所述车道线标签的初始图像输入图像分割模型进行训练，得到训练后的图像分割模型。

在可选的实施方式中，所述方法还包括：

获取待识别图像，所述待识别图像为目标车辆在目标车道拍摄的包含车道线的道路的图像；

将所述待识别图像输入所述训练后的图像分割模型进行识别，得到所述待识别图像中的目标车道线区域以及所述目标车道线区域所属的车道线的编号。

在可选的实施方式中，所述车辆对应的目标三维坐标系包括以下之一：

车辆坐标系、相机坐标系、世界坐标系；

其中，所述车辆坐标系根据所述相机坐标系确定。

在可选的实施方式中，所述车道属性包括车道宽度。

第二方面，本发明实施例提供一种车道线标签处理装置，所述装置包括：

第一获取模块，用于获取初始图像，所述初始图像为车辆在预设车道拍摄的包含车道线的道路的图像，每条车道线对应一个编号，所述道路对应有车道属性，所述车道属性用于指示所述道路中车道线的位置关系；

分割模块，用于对所述初始图像进行车道线分割，确定车道线区域；

转换模块，用于将所述车道线区域在所述初始图像中的第一位置转换为所述车辆对应的目标三维坐标系下的第二位置；

确定模块，用于基于所述第二位置与所述车辆的位置关系、所述预设车道以及所述车道属性，确定所述车道线区域的车道线标签，所述车道线区域的车道线标签包括所述车道线区域所属的车道线的编号。

在可选的实施方式中，所述装置还包括：

训练模块，用于将具有所述车道线标签的初始图像输入图像分割模型进行训练，得到训练后的图像分割模型。

在可选的实施方式中，所述装置还包括：

第二获取模块，用于获取待识别图像，所述待识别图像为目标车辆在目标车道拍摄的包含车道线的道路的图像；

识别模块，用于将所述待识别图像输入所述训练后的图像分割模型进行识别，得到所述待识别图像中的目标车道线区域以及所述目标车道线区域所属的车道线的编号。

第三方面，本发明实施例提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现前述实施方式任一项所述的方法。

第四方面，本发明实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现前述实施方式任一项所述的方法。

本发明提供的上述车道线标签处理方法及装置，通过初始图像中车道线区域相对于车辆的位置、车辆所在的车道以及车道属性，确定车道线区域的车道线标签，该车道线标签包括车道线区域所属的车道线的编号。通过上述方式得到的车道线标签不仅能指示车道线的位置，还具有车道线语义，即车道线属于所在道路上的哪根车道线，通过该车道线标签训练得到的图像分割模型可以同时识别出车道线的位置及语义，从而有利于快速生成高精度地图。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的车道线标签处理方法流程图；

图2为本发明实施例提供的道路图像的示意图；

图3为本发明实施例提供的车道线标签处理装置的示意图；

图4为本发明实施例提供的电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了快速生成高精度地图，需要对车道线的识别提出更高的要求。上述车道线标签虽然可以指示图像中车道线所在位置，但是通过车道线的位置还不足以生成高精度地图。因此，将上述车道线标签应用于车道线识别，不能够满足快速生成高精度地图的需求。基于此，本发明实施例提供的车道线标签处理方法及装置，使车道线标签不仅能指示车道线的位置，还具有车道线语义，通过该车道线标签训练得到的图像分割模型可以同时识别出车道线的位置及语义，有利于快速生成高精度地图。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1示出了本发明实施例提供的车道线标签处理方法流程图。参照图1，本发明实施例提供一种车道线标签处理方法，包括以下步骤：

步骤S101，获取初始图像，初始图像为车辆在预设车道拍摄的包含车道线的道路的图像，每条车道线对应一个编号，道路对应有车道属性，车道属性用于指示道路中车道线的位置关系。

在本实施例中，车辆所在的预设车道可以根据需要进行选择，可选的，预设车道可以是道路最外侧的车道，例如，道路最左边的车道或者道路最右边的车道。初始图像可以通过安装在车辆上的相机拍摄得到、或通过坐在车中的人员利用其它拍照设备(例如智能手机)得到等。

上述的车道线对应的编号可以是相对于车辆的编号，示例性的，如图2所示，道路包括3个车道，车辆在道路的最左侧车道行驶，车辆左侧的车道线可以认为是左边的第一根车道线，即“左1”，车辆右侧的车道线依次为“右1”、“右2”、“右3”，该编号方式只是示例，是为了表示车道线相对于车辆的位置关系，当然还可以通过其他数字进行编号。

具体的，车道属性可以为车道宽度。车道宽度一般符合国标标准，不同级别的道路有其对应的固定的车道宽度。根据车道宽度可以确定各个车道线的位置关系，例如，已知道路上的目标位置，将车道线的位置与目标位置的距离和车道宽度进行对比，可以确定各个车道线的位置关系。

步骤S102，对初始图像进行车道线分割，确定车道线区域。

本步骤中，可以利用分割标签工具，将初始图像上的车道线分割出来，该分割结果可以是一个被多边形包围的区域，即车道线区域。在进行分割时可以逐像素点的分割，从而得到车道线区域内的每一个像素点在像素坐标系下的位置。需要说明的是，初始图像中包括多个车道线，可以将多个车道线都分割出来，得到多个车道线区域。

步骤S103，将车道线区域在初始图像中的第一位置转换为车辆对应的目标三维坐标系下的第二位置。

在本实施例中，已知车道线区域内的每一个像素点在像素坐标系下的位置，通过将像素坐标系下的坐标点转换到图像物理坐标系下，可以得到车道线区域中的每个像素点在初始图像中的位置，从而确定车道线区域在初始图像中的第一位置。

具体的，车辆对应的目标三维坐标系可以为以下任意一个：车辆坐标系、相机坐标系、世界坐标系。其中，车辆坐标系是以车辆为原点的世界坐标系，其可以根据相机坐标系确定。

在一种实施方式中，车辆对应的目标三维坐标系为相机坐标系，根据相机的内部参数可以将图像物理坐标系下的坐标点转换到相机坐标系下，从而将车道线区域在初始图像中的第一位置转换为相机坐标系下的第二位置。

在另一种实施方式中，车辆对应的目标三维坐标系为车辆坐标系，首先根据相机的内部参数将图像物理坐标系下的坐标点转换到相机坐标系下，由于相机安装在车辆上，然后根据相机的外部参数(相机与车辆坐标系原点的位置关系)，将相机坐标系下的坐标点转换到车辆坐标系下，从而将车道线区域在初始图像中的第一位置转换为车辆坐标系下的第二位置。

在又一种实施方式中，车辆对应的目标三维坐标系为世界坐标系，首先根据相机的内部参数将图像物理坐标系下的坐标点转换到相机坐标系下，然后根据相机在世界坐标系中的位置，可以将相机坐标系下的坐标点转换到世界坐标系下，从而将车道线区域在初始图像中的第一位置转换为世界坐标系下的第二位置。

步骤S104，基于第二位置与车辆的位置关系、预设车道以及车道属性，确定车道线区域的车道线标签，车道线区域的车道线标签包括车道线区域所属的车道线的编号。

本步骤中，车道线区域的第二位置与车辆的位置关系可以为车道线区域相对于车辆的位置，当第二位置为车道线区域在相机坐标系下的位置时，由于相机设置在车辆上，车道线区域在相机坐标系下的位置可以近似看作车道线区域相对于车辆的位置；当第二位置为车道线区域在车辆坐标系下的位置时，可以直接得到车道线区域相对于车辆的位置；当第二位置为车道线区域在世界坐标系下的位置时，可以根据车辆在世界坐标系下的位置，得到车道线区域相对于车辆的位置。

根据车道线区域相对于车辆的位置可以得到车道线区域与车辆的距离，例如，当第二位置为车道线区域在车辆坐标系下的位置时，根据车道线区域在车辆坐标系下的坐标可以得到车道线区域与车辆的横向距离(即车道线区域与车辆的距离)。进而根据车道线区域与车辆的距离、车辆所在的车道和车道宽度可以确定车道线区域所属的车道线的编号，这里的编号为车道线相对于车辆的编号，与上述图2中的编号方式相同。

示例性的，车道宽度为L1，车道线区域与车辆的距离为L2，已知车辆在道路最左侧的车道中央行驶，将L2与L1进行对比可以确定车道线区域所属的车道线的编号。例如，L2车为1.6m左右，L1为3m左右，则L2为半个车道宽度，已知车辆在车道中央行驶，那么可以确定该车道线属于车辆行驶的车道，又已知车辆在道路最左侧的车道行驶，那么该车道线区域属于最左侧的车道的车辆前进方向的右侧车道线或者左侧车道线。车辆前进方向的右侧车道线或者左侧车道线与车道线区域与车辆的位置关系有关，当车道线区域位于车辆前进方向的左侧时，其属于左侧车道线，例如用“左1”进行编号；当车道线区域位于车辆前进方向的右侧时，其属于右侧车道线，例如用“右1”进行编号。在确定车道线区域所属的车道线的编号后，为车道线区域生成车道线标签。

可以理解的是，车道线区域由各个像素点组成，车道线区域的位置(上述第一位置、第二位置)可以由各个像素点的位置确定。在生成车道线区域的车道线标签时，可以为车道线区域的每一像素点生成车道线标签。

在一些实施例中，通过上述步骤S101-步骤S104确定车道线区域的车道线标签后，还可以执行以下步骤：

将具有车道线标签的初始图像输入图像分割模型进行训练，得到训练后的图像分割模型。

在具体实施中，可以将多个具有车道线标签的初始图像作为训练样本，根据该训练样本对图像分割模型进行训练。图像分割模型可以是二分类的，也可以是多分类的，在此不作限制。

需要说明的是，在对图像分割模型进行训练时，从具有车道线标签的初始图像中提取的特征是车道线区域与车辆的相对位置，而并非车道线区域的绝对位置。

在一些实施例中，在得到上述训练后的图像分割模型后，还可以执行以下步骤：

步骤1)获取待识别图像，待识别图像为目标车辆在目标车道拍摄的包含车道线的道路的图像；

步骤2)将所述待识别图像输入训练后的图像分割模型进行识别，得到待识别图像中的目标车道线区域以及所述目标车道线区域所属的车道线的编号。

具体的，训练后的图像分割模型首先识别待识别图像中的车道线和车道线的编号，然后将识别到的车道线进行分割，确定目标车道线区域，目标车道线区域对应有该目标车道线区域所属的车道线的编号。

本发明实施例提供的上述车道线标签处理方法，通过初始图像中车道线区域相对于车辆的位置、车辆所在的车道以及车道属性，确定车道线区域的车道线标签，该车道线标签包括车道线区域所属的车道线的编号，即使得车道线标签具有语义，通过该车道线标签训练得到的图像分割模型，在识别图像中的车道线位置时，可以同时识别车道线属于所在道路上的哪根车道线，即识别出车道线的语义，便于快速生成高精度地图。

在上述实施例的基础上，本发明实施例还提供了一种车道线标签处理装置。

如图3所示，本发明实施例提供一种车道线标签处理装置，装置包括：

第一获取模块31，用于获取初始图像，初始图像为车辆在预设车道拍摄的包含车道线的道路的图像，每条车道线对应一个编号，道路对应有车道属性，车道属性用于指示道路中车道线的位置关系；

分割模块32，用于对初始图像进行车道线分割，确定车道线区域；

转换模块33，用于将车道线区域在初始图像中的第一位置转换为车辆对应的目标三维坐标系下的第二位置；

确定模块34，用于基于第二位置与车辆的位置关系、预设车道以及车道属性，确定车道线区域的车道线标签，车道线区域的车道线标签包括车道线区域所属的车道线的编号。

在一些实施例中，装置还包括：

训练模块，用于将具有车道线标签的初始图像输入图像分割模型进行训练，得到训练后的图像分割模型。

在一些实施例中，装置还包括：

第二获取模块，用于获取待识别图像，待识别图像为目标车辆在目标车道拍摄的包含车道线的道路的图像；

识别模块，用于将所述待识别图像输入所述训练后的图像分割模型进行识别，得到所述待识别图像中的目标车道线区域以及所述目标车道线区域所属的车道线的编号。

在一些实施例中，车辆对应的目标三维坐标系包括以下之一：

车辆坐标系、相机坐标系、世界坐标系；

其中，车辆坐标系根据相机坐标系确定。

在一些实施例中，车道属性为车道宽度。

本发明实施例所提供的车道线标签处理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

参见图4，本发明实施例还提供一种电子设备400，包括：处理器401，存储器402，总线403和通信接口404，处理器401、通信接口404和存储器402通过总线403连接；存储器402用于存储程序；处理器401用于通过总线403调用存储在存储器402中的程序，执行上述实施例的车道线标签处理方法。

其中，存储器402可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口404(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线403可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器402用于存储程序，处理器401在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器401中，或者由处理器401实现。

处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成上述方法的步骤。

本发明实施例还提供了一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现如上的车道线标签处理方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种车道线标签处理方法，其特征在于，所述方法包括：

获取初始图像，所述初始图像为车辆在预设车道拍摄的包含车道线的道路的图像，每条车道线对应一个编号，所述道路对应有车道属性，所述车道属性用于指示所述道路中车道线的位置关系；

对所述初始图像进行车道线分割，确定车道线区域；

将所述车道线区域在所述初始图像中的第一位置转换为所述车辆对应的目标三维坐标系下的第二位置；

基于所述第二位置与所述车辆的位置关系、所述预设车道以及所述车道属性，确定所述车道线区域的车道线标签，所述车道线区域的车道线标签包括所述车道线区域所属的车道线的编号。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将具有所述车道线标签的初始图像输入图像分割模型进行训练，得到训练后的图像分割模型。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取待识别图像，所述待识别图像为目标车辆在目标车道拍摄的包含车道线的道路的图像；

将所述待识别图像输入所述训练后的图像分割模型进行识别，得到所述待识别图像中的目标车道线区域以及所述目标车道线区域所属的车道线的编号。

4.根据权利要求1所述的方法，其特征在于，所述车辆对应的目标三维坐标系包括以下之一：

车辆坐标系、相机坐标系、世界坐标系；

其中，所述车辆坐标系根据所述相机坐标系确定。

5.根据权利要求1所述的方法，其特征在于，所述车道属性包括车道宽度。

6.一种车道线标签处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取初始图像，所述初始图像为车辆在预设车道拍摄的包含车道线的道路的图像，每条车道线对应一个编号，所述道路对应有车道属性，所述车道属性用于指示所述道路中车道线的位置关系；

第一分割模块，用于对所述初始图像进行车道线分割，确定车道线区域；

转换模块，用于将所述车道线区域在所述初始图像中的第一位置转换为所述车辆对应的目标三维坐标系下的第二位置；

确定模块，用于基于所述第二位置与所述车辆的位置关系、所述预设车道以及所述车道属性，确定所述车道线区域的车道线标签，所述车道线区域的车道线标签包括所述车道线区域所属的车道线的编号。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

训练模块，用于将具有所述车道线标签的初始图像输入图像分割模型进行训练，得到训练后的图像分割模型。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取待识别图像，所述待识别图像为目标车辆在目标车道拍摄的包含车道线的道路的图像；

识别模块，用于将所述待识别图像输入所述训练后的图像分割模型进行识别，得到所述待识别图像中的目标车道线区域以及所述目标车道线区域所属的车道线的编号。

9.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-5任一项所述的方法。

10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-5任一项所述的方法。

Images