CN114882463A - 三维标注、车道线检测方法及装置、设备及存储介质 - Google Patents

Abstract

本公开提供了一种三维标注、车道线检测方法及装置、设备及存储介质，其中，该方法包括：获取同一目标场景下分别采集的目标图像和目标点云数据；基于目标点云数据中的点云点的三维坐标信息，确定将目标点云数据投影至目标图像后，各个点云点分别对应的投影点的二维坐标信息；基于投影点的二维坐标信息、投影点所对应的点云点的三维坐标信息、以及针对目标图像中的目标车道线进行标注的二维标注结果，确定目标车道线的三维标注结果。本公开基于目标点云数据构建稠密的三维标注结果，从而便于实现三维车道线检测，提升了检测的准确度。

Description

三维标注、车道线检测方法及装置、设备及存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种三维标注、车道线检测方法及装置、设备及存储介质。

背景技术

车道线检测是自动驾驶系统中一个重要的感知任务，通过车道线检测可以帮助完成众多上层应用。例如，可以有助于车道偏离警示(Lane Departure Warning，LDW)、车道保持辅助(Lane Keep Assist，LKA)等系统，亦可辅助前向碰撞预警(Forward CollisionWarning，FCW)判断路径上最近的车辆，以帮助进行车辆路径规划。

相关技术中提供了一种二维车道线检测方法，也即，利用二维标注下的车道线训练车道线检测网络，以利用训练好的车道线检测网络实现二维车道线检测。

然而，二维车道线检测任务具有一定的局限性，例如，在具有坡度的道路上所进行的二维车道线检测将出现不可避免的误差，检测准确度较低。

发明内容

本公开实施例至少提供一种三维标注、车道线检测方法及装置、设备及存储介质。

第一方面，本公开实施例提供了一种三维标注方法，包括：

获取同一目标场景下分别采集的目标图像和目标点云数据；

基于所述目标点云数据中的点云点的三维坐标信息，确定将所述目标点云数据投影至所述目标图像后，各个所述点云点分别对应的投影点的二维坐标信息；

基于所述投影点的二维坐标信息、所述投影点所对应的点云点的三维坐标信息、以及针对所述目标图像中的目标车道线进行标注的二维标注结果，确定所述目标车道线的三维标注结果。

采用上述三维标注方法，在获取到同一目标场景下分别采集的目标图像和目标点云数据的情况下，可以基于点云点的三维坐标信息，确定将目标点云数据投影至目标图像后，各个点云点分别对应的投影点的二维坐标信息，进而基于二维坐标信息以及有关目标车道线的二维标注结果，确定目标车道线的三维标注结果。本公开基于目标点云数据构建稠密的三维标注结果，从而便于实现三维车道线检测，提升了检测的准确度。

在一种可能的实施方式中，所述确定将所述目标点云数据投影至所述目标图像后，各个所述点云点分别对应的投影点的二维坐标信息，包括：

基于世界坐标系与相机坐标系之间的第一转换关系，以及相机坐标系与图像坐标系之间的第二转换关系，将所述目标点云数据包括的每个点云点投影到所述目标图像上，确定所述点云点在所述目标图像中投影得到的投影点，以及，

基于所述投影点所对应点云点的三维坐标信息，确定所述投影点的二维坐标信息。

这里，基于坐标系之间的转换关系可以实现三维点云点至二维投影点之间的映射，进而确定投影点的二维坐标信息，便于实现后续的三维标注。

在一种可能的实施方式中，所述二维标注结果包括二维标注框，所述基于所述投影点的二维坐标信息、所述投影点所对应的点云点的三维坐标信息、以及针对所述目标图像中的目标车道线进行标注的二维标注结果，确定所述目标车道线的三维标注结果，包括：

基于所述投影点的二维坐标信息，从所述投影点中筛选出落入所述二维标注框的目标投影点；

基于筛选出的目标投影点所对应的目标点云点的三维坐标信息，确定所述目标车道线的三维标注结果。

这里，基于投影点的二维坐标信息以及二维标注框的二维坐标范围，可以确定落入二维标注框的目标投影点，继而可以通过目标投影点所对应的目标点云点的三维坐标信息，确定目标车道线的三维标注结果，从而实现了车道线的三维标注，操作简单。

在一种可能的实施方式中，所述目标点云数据包括多帧，所述将所述目标点云数据投影至所述目标图像，包括：

对多帧所述目标点云数据进行融合，得到融合目标点云数据；

将所述融合目标点云数据投影至所述目标图像。

这里，为了实现更为稠密的点云标注，这里可以先对多帧目标点云数据进行融合，而后再将融合目标点云数据投影至目标图像。

在一种可能的实施方式中，多帧所述目标点云数据通过设置在目标车辆上的雷达设备在预设时长内采集得到，所述对多帧所述目标点云数据进行融合，得到融合目标点云数据，包括：

获取所述预设时长内每一个采集时刻下所述目标车辆的位姿信息；

基于各个所述采集时刻下所述目标车辆的位姿信息将每个采集时刻采集的一帧目标点云数据投影至全局坐标系，得到所述预设时长中的融合目标点云数据。

在一种可能的实施方式中，所述二维标注结果包括二维标注框，所述目标点云数据中包括属于目标车道线的目标点云点，所述融合目标点云数据包括所述目标点云点对应的融合目标点云点；在所述融合目标点云点为多个的情况下，所述得到融合目标点云数据之后，还包括：

针对多个融合目标点云点中的每个所述融合目标点云点，滤除投影至所述目标图像的投影点不落入所述二维标注框的融合目标点云点。

这里，为了尽可能的提升标注结果的准确性，在进行点云数据融合之后，可以基于二维标注框进行目标点云点过滤。

在一种可能的实施方式中，所述目标点云数据中包括属于目标车道线的目标点云点，所述融合目标点云数据包括所述目标点云点对应的融合目标点云点；在所述融合目标点云点为多个的情况下，所述得到融合目标点云数据之后，还包括：

获取多个所述融合目标点云点所在三维坐标系包括的至少一个二维平面；

针对多个融合目标点云点中的每个所述融合目标点云点，将所述融合目标点云点投影至所述二维平面，确定投影后的融合目标投影点的二维坐标信息是否符合预设阈值，并在确定不符合预设阈值的情况下，过滤掉所述融合目标点云点。

这里，为了尽可能的提升标注结果的准确性，在进行点云数据融合之后，可以基于二维平面投影结果进行目标点云点过滤。

在一种可能的实施方式中，所述二维平面包括以下平面中的一种：

以所述目标车辆行驶的第一方向为横向坐标轴，以平行于地面、且垂直于所述第一方向的第二方向为纵向坐标轴所构成的第一二维平面；

以所述目标车辆行驶的第一方向为横向坐标轴，以垂直于地面、且垂直于所述第一方向的第三方向为竖向坐标轴所构成的第二二维平面。

在一种可能的实施方式中，在得到融合目标点云数据之后，还包括：

在滤除后的融合目标点云点投影至所述目标图像后得到的投影点对应投影区域不连通的情况下，对所述滤除后的融合目标点云点进行插值运算，得到用于表征完整车道线的插值后的融合目标点云点。

第二方面，本公开实施例还提供了一种车道线检测方法，包括：

基于第一方面及其各种实施方式任一所述的三维标注方法，获取包括有车道线的三维标注结果的图像样本；

将所述图像样本作为待训练的车道线检测网络的输入数据，将对应车道线的三维标注结果作为所述待训练的车道线检测网络的输出结果的监督数据，对所述待训练的车道线检测网络进行至少一轮训练，得到训练好的车道线检测网络。

在一种可能的实施方式中，在得到训练好的车道线检测网络之后，所述方法还包括：

获取待检测图像；

将所述待检测图像输入到所述训练好的车道线检测网络，得到所述待检测图像中目标车道线的三维检测结果。

第三方面，本公开实施例还提供了一种三维标注装置，包括：

获取模块，用于获取同一目标场景下分别采集的目标图像和目标点云数据；

确定模块，用于基于所述目标点云数据中的点云点的三维坐标信息，确定将所述目标点云数据投影至所述目标图像后，各个所述点云点分别对应的投影点的二维坐标信息；

标注模块，用于基于所述投影点的二维坐标信息、所述投影点所对应的点云点的三维坐标信息、以及针对所述目标图像中的目标车道线进行标注的二维标注结果，确定所述目标车道线的三维标注结果。

第四方面，本公开实施例还提供了一种车道线检测装置，包括：

获取模块，用于基于第一方面及其各种实施方式任一所述的三维标注方法，获取包括有车道线的三维标注结果的图像样本；

检测模块，用于将所述图像样本作为待训练的车道线检测网络的输入数据，将对应车道线的三维标注结果作为所述待训练的车道线检测网络的输出结果的监督数据，对所述待训练的车道线检测网络进行至少一轮训练，得到训练好的车道线检测网络。

第五方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的三维标注方法的步骤或者如第二方面及其实施方式所述的车道线检测方法的步骤。

第六方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的三维标注方法的步骤或者如第二方面及其实施方式所述的车道线检测方法的步骤。

关于上述装置、电子设备、及计算机可读存储介质的效果描述参见上述方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种三维标注方法的流程图；

图2示出了本公开实施例所提供的一种车道线检测方法的流程图；

图3示出了本公开实施例所提供的一种三维标注装置的示意图；

图4示出了本公开实施例所提供的一种车道线检测装置的示意图；

图5示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，相关技术中提供了一种二维车道线检测方法，也即，利用二维标注下的车道线训练车道线检测网络，以利用训练好的车道线检测网络实现二维车道线检测。

近年来，深度学习方法取得了极大成功，因此出现了许多基于深度学习的车道线检测网络。此外，还有一些工作是对深度学习模型的改进，例如可以加入一种滑动窗口自注意力机制，还可以引入了车道线结构信息。这些工作解决的问题为图片层面(二维)的车道线检测，即给定一张图片，判断图片中哪些像素属于车道线(可能会同时输出车道线曲线和车道线种类)。

然而，二维车道线检测任务具有一定的局限性，例如，在具有坡度的道路上所进行的二维车道线检测将出现不可避免的误差，检测准确度较低。

基于上述研究，本公开提供了一种基于目标点云数据构建稠密的三维标注的三维标注方案，以提升后续进行三维车道线检测的准确度。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种三维标注方法进行详细介绍，本公开实施例所提供的三维标注方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端等。在一些可能的实现方式中，该三维标注方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的三维标注方法的流程图，方法包括步骤S101～S103，其中：

S101：获取同一目标场景下分别采集的目标图像和目标点云数据；

S102：基于目标点云数据中的点云点的三维坐标信息，确定将目标点云数据投影至目标图像后，各个点云点分别对应的投影点的二维坐标信息；

S103：基于投影点的二维坐标信息、投影点所对应的点云点的三维坐标信息、以及针对目标图像中的目标车道线进行标注的二维标注结果，确定目标车道线的三维标注结果。

这里，为了便于理解本公开实施例提供的三维标注方法，接下来首先对该方法的应用场景进行简单说明。本公开实施例中的三维标注方法主要可以应用于自动驾驶领域中的车道线检测，除此之外，还可以应用于其它领域中的车道线检测，本公开实施例对此不做具体的限制。接下来多以自动驾驶领域中的车道线检测进行示例说明。

其中，这里首先可以获取同一目标场景下分别采集的目标图像和目标点云数据。目标图像可以是设置在目标车辆的摄像设备(如相机)采集的，目标点云数据则可以是设置在目标车辆上的雷达设备(Lidar)采集的。为了确保目标图像和目标点云数据是处于同一目标场景下采集的，这里的摄像设备和雷达设备可以是相邻设置的，在实际应用中，两个设备可以同时开启数据采集的功能。

本公开实施例中的雷达设备可以采用旋转式扫描激光雷达，还可以采用其他雷达设备，对此不做具体的限制。以旋转式扫描激光雷达为例，该激光雷达在水平方向旋转扫描时可以获取周边环境内有关的点云数据。

在进行旋转扫描的过程中，激光雷达可以采用多线扫描方式，即发射使用多个激光管顺序发射，结构为多个激光管纵向排列，即在水平方向旋转扫描的过程中，进行垂直方向的多层扫描。每个激光管之间有一定的夹角，垂直发射视场可以在30°～40°，这样，在激光雷达设备每旋转一个扫描角度可以获取多个激光管发射激光所返回的一个数据包，将各个扫描角度获取的数据包进行拼接即可得到一帧点云数据(对应旋转一周扫描360°)，在激光雷达扫描一周后，即可以扫描得到一帧点云数据。

本公开实施例可以将扫描得到的一帧点云数据作为目标点云数据，也可以将扫描得到的多帧点云数据进行集合，作为目标点云数据，例如，可以将预设时长(如3分钟)内针对预设应用场景(如道路交通场景)所采集的多帧点云数据作为目标点云数据。

在进行目标点云数据采集的过程中，抓取到的目标图像可以为多张。

针对扫描到的目标点云数据而言，可以包括有多个点云点的三维坐标信息，这样，针对获取到的每张目标图像均可以进行三维至二维的投影，进而可以基于针对目标图像中的目标车道线进行标注的二维标注结果与上述投影得到的投影点的二维坐标信息之间的比对关系，实现目标车道线的三维标注。

本公开实施例中，目标车道线的二维标注结果可以是二维标注框，这样，在进行三维标注结果确定的情况下，可以基于投影点的二维坐标信息与二维标注框所在的坐标范围之间的包含关系，确定落入到二维标注框的投影点，继而进一步确定目标车道线的三维标注结果。

其中，有关投影点的二维坐标信息，可以是基于目标点云点所在的三维坐标系之间的转化关系确定，具体可以通过如下步骤来实现：

步骤一、基于世界坐标系与相机坐标系之间的第一转换关系，以及相机坐标系与图像坐标系之间的第二转换关系，将目标点云数据包括的每个点云点投影到目标图像上，确定点云点在目标图像中投影得到的投影点，以及，

步骤二、基于投影点所对应点云点的三维坐标信息，确定投影点的二维坐标信息。

在实际应用中，上述两个转换关系可以是基于两个变换矩阵实现的，其一是由于Lidar和相机具有不同的外部参数，可以计算从Lidar到相机的外参变换矩阵；其二，将相机坐标系下的点投影到目标图像中，需要相机的投影矩阵。

针对外参变换矩阵，采集数据时，通常会记录从Lidar空间变换到相机空间的外部参数，包括旋转矩阵(大小为3*3)和平移变量(大小为3*1)。在齐次坐标系中，可以将这两个矩阵进行级联乘法，实现连续的变换。

针对投影矩阵，首先需要矫正旋转矩阵对目标图像进行修正，然后使用投影矩阵将点云点投影到图像。投影矩阵依据相机的焦距、主点坐标计算。

利用上述两个变换矩阵，本公开实施例可以将点云点投影到目标图像，确定各个点云点对应的投影点。基于投影点所对应点云点的三维坐标系与目标图像所在二维坐标系之间的对应关系、以及投影点所对应点云点的三维坐标信息可以确定投影点的二维坐标信息。

在投影得到投影点的二维坐标信息的情况下，可以结合目标车道线的二维标注结果实现三维标注，具体可以通过如下步骤来实现：

步骤一、基于投影点的二维坐标信息，从所述投影点中筛选出落入二维标注框的目标投影点；

步骤二、基于筛选出的目标投影点所对应的目标点云点的三维坐标信息，确定目标车道线的三维标注结果。

这里，有关目标车道线的二维标注框可以是使用标注工具或者性能良好的二维车道线检测模型在目标图像中框出的车道线位置。其中，被遮挡或本身缺失的部分(如白虚线空白处)也会被框入。

结合目标车道线的二维标注框和投影结果，本公开可以粗略的将属于目标车道线的目标点云点保留下来，继而可以确定出三维标注结果。

考虑到单帧目标点云数据的投影结果相对比较稀疏，本公开实施例可以基于在预设时长内采集得到的多帧目标点云数据进行融合后的投影，继而得到更为稠密的三维标注结果。上述投影过程具体包括如下步骤：

步骤一、对多帧目标点云数据进行融合，得到融合目标点云数据；

步骤二、将融合目标点云数据投影至目标图像。

本公开实施例中，首先可以将多帧目标点云数据进行融合，继而得到点云点数量更多的融合目标点云数据，由于该融合目标点云数据包含有更多的点云点，一定程度上使得投影至二维标注框的目标点云点的数量也得以增加，从而提升后续的三维标注效果。

其中，上述融合操作具体可以是通过如下步骤实现的：

步骤一、获取预设时长内每一个采集时刻下目标车辆的位姿信息；

步骤二、基于各个采集时刻下目标车辆的位姿信息将每个采集时刻采集的一帧目标点云数据投影至全局坐标系，得到预设时长中的融合目标点云数据。

这里，可以基于各个采集时刻下目标车辆的位姿信息，将在每个采集时刻采集的一帧目标点云数据中的目标点云点投影至全局坐标系，得到预设时长对应的融合目标点云点，这主要是考虑到车辆在每一采集时刻的位置不一定相同，不同时刻的点云数据并不能在图像上直接融合，因而需要先转换到全局坐标系下再进行融合。

具体而言，对于采集时长为T的数据，本公开实施例可以通过全球定位系统(Global Positioning System，GPS)、惯性测量单元(Inertial Measurement Unit，IMU)等传感器确定每一采集时刻的车身位姿。然后，将所有点云投回到全局坐标系中，融合T时间内本车行驶范围中所有的车道线点。融合之后的点云是稠密的，这里可以将点云投影回每一帧目标图像。

其中，预设时长不宜过长，也不宜过短，过长的预设时长可能出现过多的目标对象，使得融合后投影操作的计算复杂度过高，过短的预设时长的融合效果不佳，故这里可以设置10帧点云数据所对应的时间作为融合标准，也即，可以每10帧点云数据(约0.4s)做一次点云融合。

为了进一步提升三维标注结果的准确性，这里可以对融合目标点云点进行过滤操作。

一方面，针对融合目标点云点，确定融合目标点云点投影至目标图像的投影点是否落入二维标注框，在不落入二维标注框的情况下，可以滤除掉，也即，可以在二维标注结果下进一步约束三维的标注结果。

另一方面，针对融合目标点云点，可以将融合目标点云点投影至融合目标点云点所在三维坐标系包括的二维平面，确定投影后的融合目标投影点的二维坐标信息是否符合预设阈值，并在确定不符合预设阈值的情况下，过滤掉融合目标点云点。

其中，上述二维平面可以是以目标车辆行驶的第一方向为横向坐标轴，以平行于地面、且垂直于第一方向的第二方向为纵向坐标轴所构成的第一二维平面；还可以是以目标车辆行驶的第一方向为横向坐标轴，以垂直于地面、且垂直于第一方向的第三方向为竖向坐标轴所构成的第二二维平面。

这里，可以假定三维坐标系以相机为原点，x轴向前(对应目标车辆行驶的第一方向)，y轴向右(对应平行于地面、且垂直于第一方向的第二方向)，z轴(对应垂直于地面、且垂直于第一方向的第三方向为竖向坐标轴)向上。

在实际应用中，可以将三维点云点的滤波分解成两次二维滤波。第一次，可以对x-y平面进行滤波，即，对于不同的z取值(对应设置z对应的预设阈值)，对x-y平面上的点进行滤波；第二次，可以对x-z平面进行滤波，即，对于不同的y取值(对应设置y对应的预设阈值)，对x-z平面上的点进行滤波。

其中，滤波方法没有限制，可使用中值滤波、FFT滤波等。

为了在确保三维标注准确性的前提下，实现三维标注结果的完整性标注，本公开实施例中，在滤除后的融合目标点云点投影至目标图像后得到的投影点对应投影区域不连通的情况下，对滤除后的融合目标点云点进行插值运算，得到用于表征完整车道线的插值后的融合目标点云点。

在实际应用中，可以对虚线和/或被遮挡的线进行插值，继而得到一个连通的区域。其中，插值方法包括最近邻插值、双线性插值等，这里不做具体的限制。

基于上述实施例提供的三维标注方法，本公开实施例还提供了一种车道线检测方法，如图2所示，具体包括如下步骤：

S201：基于三维标注方法，获取包括有车道线的三维标注结果的图像样本；

S202：将图像样本作为待训练的车道线检测网络的输入数据，将对应车道线的三维标注结果作为待训练的车道线检测网络的输出结果的监督数据，对待训练的车道线检测网络进行至少一轮训练，得到训练好的车道线检测网络。

这里，在获取到包含有三维标注结果的图像样本的情况下，可以将像样本作为待训练的车道线检测网络的输入数据，输入到待训练的车道线检测网络，这样，可以得到网络输出的检测结果。在确定检测结果与对应车道线的三维标注结果不匹配的情况下，说明网络的训练性能不佳，这时，可以调整网络参数值，继而进行下一轮训练，直至达到网络收敛，得到训练好的车道线检测网络。

这样，在获取到待检测图像的情况下，可以将将待检测图像输入到训练好的车道线检测网络，得到待检测图像中目标车道线的三维检测结果，检测的准确度较高。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与方法对应的三维标注装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图3所示，为本公开实施例提供的一种三维标注装置的示意图，装置包括：获取模块301、确定模块302、标注模块303；其中，

获取模块301，用于获取同一目标场景下分别采集的目标图像和目标点云数据；

确定模块302，用于基于目标点云数据中的点云点的三维坐标信息，确定将目标点云数据投影至目标图像后，各个点云点分别对应的投影点的二维坐标信息；

标注模块303，用于基于投影点的二维坐标信息、投影点所对应的点云点的三维坐标信息、以及针对目标图像中的目标车道线进行标注的二维标注结果，确定目标车道线的三维标注结果。

采用上述三维标注装置，在获取到同一目标场景下分别采集的目标图像和目标点云数据的情况下，可以基于点云点的三维坐标信息，确定将目标点云数据投影至目标图像后，各个点云点分别对应的投影点的二维坐标信息，进而基于二维坐标信息以及有关目标车道线的二维标注结果，确定目标车道线的三维标注结果。本公开基于目标点云数据构建稠密的三维标注结果，从而便于实现三维车道线检测，提升了检测的准确度。

在一种可能的实施方式中，确定模块302，用于按照如下步骤确定将目标点云数据投影至目标图像后，各个点云点分别对应的投影点的二维坐标信息：

基于世界坐标系与相机坐标系之间的第一转换关系，以及相机坐标系与图像坐标系之间的第二转换关系，将目标点云数据包括的每个点云点投影到目标图像上，确定点云点在目标图像中投影得到的投影点，以及，

基于投影点所对应点云点的三维坐标信息，确定投影点的二维坐标信息。

在一种可能的实施方式中，二维标注结果包括二维标注框，标注模块303，用于按照如下步骤基于投影点的二维坐标信息、投影点所对应的点云点的三维坐标信息、以及针对目标图像中的目标车道线进行标注的二维标注结果，确定目标车道线的三维标注结果：

基于投影点的二维坐标信息，从所述投影点中筛选出落入二维标注框的目标投影点；

基于筛选出的目标投影点所对应的目标点云点的三维坐标信息，确定目标车道线的三维标注结果。

在一种可能的实施方式中，目标点云数据包括多帧，确定模块302，用于按照如下步骤将目标点云数据投影至目标图像：

对多帧目标点云数据进行融合，得到融合目标点云数据；

将融合目标点云数据投影至目标图像。

在一种可能的实施方式中，多帧目标点云数据通过设置在目标车辆上的雷达设备在预设时长内采集得到，确定模块302，用于按照如下步骤对多帧目标点云数据进行融合，得到融合目标点云数据：

获取预设时长内每一个采集时刻下目标车辆的位姿信息；

基于各个采集时刻下目标车辆的位姿信息将每个采集时刻采集的一帧目标点云数据投影至全局坐标系，得到预设时长中的融合目标点云数据。

在一种可能的实施方式中，二维标注结果包括二维标注框，目标点云数据中包括属于目标车道线的目标点云点，所述融合目标点云数据包括所述目标点云点对应的融合目标点云点；在融合目标点云点为多个的情况下，确定模块302，还用于：

在得到融合目标点云数据之后，针对多个融合目标点云点中的每个融合目标点云点，滤除投影至目标图像的投影点不落入二维标注框的融合目标点云点。

在一种可能的实施方式中，目标点云数据中包括属于目标车道线的目标点云点，所述融合目标点云数据包括所述目标点云点对应的融合目标点云点；在融合目标点云点为多个的情况下，确定模块302，还用于：

在得到融合目标点云数据之后，获取多个融合目标点云点所在三维坐标系包括的至少一个二维平面；针对多个融合目标点云点中的每个融合目标点云点，将融合目标点云点投影至二维平面，确定投影后的融合目标投影点的二维坐标信息是否符合预设阈值，并在确定不符合预设阈值的情况下，过滤掉融合目标点云点。

在一种可能的实施方式中，二维平面包括以下平面中的一种：

以目标车辆行驶的第一方向为横向坐标轴，以平行于地面、且垂直于第一方向的第二方向为纵向坐标轴所构成的第一二维平面；

以目标车辆行驶的第一方向为横向坐标轴，以垂直于地面、且垂直于第一方向的第三方向为竖向坐标轴所构成的第二二维平面。

在一种可能的实施方式中，确定模块302，还用于：

在得到融合目标点云数据之后，在滤除后的融合目标点云点投影至目标图像后得到的投影点对应投影区域不连通的情况下，对滤除后的融合目标点云点进行插值运算，得到用于表征完整车道线的插值后的融合目标点云点。

参照图4所示，为本公开实施例提供的一种车道线检测装置的示意图，装置包括：获取模块401、检测模块402；其中，

获取模块401，用于基于三维标注方法，获取包括有车道线的三维标注结果的图像样本；

检测模块402，用于将图像样本作为待训练的车道线检测网络的输入数据，将对应车道线的三维标注结果作为待训练的车道线检测网络的输出结果的监督数据，对待训练的车道线检测网络进行至少一轮训练，得到训练好的车道线检测网络。

在一种可能的实施方式中，检测模块402，还用于：

在得到训练好的车道线检测网络之后，获取待检测图像；

将待检测图像输入到训练好的车道线检测网络，得到待检测图像中目标车道线的三维检测结果。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图5所示，为本公开实施例提供的电子设备结构示意图，包括：处理器501、存储器502、和总线503。存储器502存储有处理器501可执行的机器可读指令(比如，图3中的装置中获取模块301、确定模块302、标注模块303对应的执行指令等；再如，图4中的装置中获取模块401、检测模块402对应的执行指令等)，当电子设备运行时，处理器501与存储器502之间通过总线503通信，机器可读指令被处理器501执行时执行如图1所示的三维标注方法或者如图2所示的车道线检测方法的步骤。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种三维标注方法，其特征在于，包括：

获取同一目标场景下分别采集的目标图像和目标点云数据；

基于所述目标点云数据中的点云点的三维坐标信息，确定将所述目标点云数据投影至所述目标图像后，各个所述点云点分别对应的投影点的二维坐标信息；

基于所述投影点的二维坐标信息、所述投影点所对应的点云点的三维坐标信息、以及针对所述目标图像中的目标车道线进行标注的二维标注结果，确定所述目标车道线的三维标注结果。

2.根据权利要求1所述的方法，其特征在于，所述确定将所述目标点云数据投影至所述目标图像后，各个所述点云点分别对应的投影点的二维坐标信息，包括：

基于世界坐标系与相机坐标系之间的第一转换关系，以及相机坐标系与图像坐标系之间的第二转换关系，将所述目标点云数据包括的每个点云点投影到所述目标图像上，确定所述点云点在所述目标图像中投影得到的投影点，以及，

基于所述投影点所对应点云点的三维坐标信息，确定所述投影点的二维坐标信息。

3.根据权利要求1或2所述的方法，其特征在于，所述二维标注结果包括二维标注框，所述基于所述投影点的二维坐标信息、所述投影点所对应的点云点的三维坐标信息、以及针对所述目标图像中的目标车道线进行标注的二维标注结果，确定所述目标车道线的三维标注结果，包括：

基于所述投影点的二维坐标信息，从所述投影点中筛选出落入所述二维标注框的目标投影点；

基于筛选出的目标投影点所对应的目标点云点的三维坐标信息，确定所述目标车道线的三维标注结果。

4.根据权利要求1至3任一所述的方法，其特征在于，所述目标点云数据包括多帧，所述将所述目标点云数据投影至所述目标图像，包括：

对多帧所述目标点云数据进行融合，得到融合目标点云数据；

将所述融合目标点云数据投影至所述目标图像。

5.根据权利要求4所述的方法，其特征在于，多帧所述目标点云数据通过设置在目标车辆上的雷达设备在预设时长内采集得到，所述对多帧所述目标点云数据进行融合，得到融合目标点云数据，包括：

获取所述预设时长内每一个采集时刻下所述目标车辆的位姿信息；

基于各个所述采集时刻下所述目标车辆的位姿信息将每个采集时刻采集的一帧目标点云数据投影至全局坐标系，得到所述预设时长中的融合目标点云数据。

6.根据权利要求5所述的方法，其特征在于，所述二维标注结果包括二维标注框，所述目标点云数据中包括属于目标车道线的目标点云点，所述融合目标点云数据包括所述目标点云点对应的融合目标点云点；在所述融合目标点云点为多个的情况下，所述得到融合目标点云数据之后，还包括：

针对多个融合目标点云点中的每个所述融合目标点云点，滤除投影至所述目标图像的投影点不落入所述二维标注框的融合目标点云点。

7.根据权利要求5或6所述的方法，其特征在于，所述目标点云数据中包括属于目标车道线的目标点云点，所述融合目标点云数据包括所述目标点云点对应的融合目标点云点；在所述融合目标点云点为多个的情况下，所述得到融合目标点云数据之后，还包括：

获取多个所述融合目标点云点所在三维坐标系包括的至少一个二维平面；

针对多个融合目标点云点中的每个所述融合目标点云点，将所述融合目标点云点投影至所述二维平面，确定投影后的融合目标投影点的二维坐标信息是否符合预设阈值，并在确定不符合预设阈值的情况下，过滤掉所述融合目标点云点。

8.根据权利要求7所述的方法，其特征在于，所述二维平面包括以下平面中的一种：

以所述目标车辆行驶的第一方向为横向坐标轴，以平行于地面、且垂直于所述第一方向的第二方向为纵向坐标轴所构成的第一二维平面；

以所述目标车辆行驶的第一方向为横向坐标轴，以垂直于地面、且垂直于所述第一方向的第三方向为竖向坐标轴所构成的第二二维平面。

9.根据权利要求6至8任一所述的方法，其特征在于，在得到融合目标点云数据之后，还包括：

在滤除后的融合目标点云点投影至所述目标图像后得到的投影点对应投影区域不连通的情况下，对所述滤除后的融合目标点云点进行插值运算，得到用于表征完整车道线的插值后的融合目标点云点。

10.一种车道线检测方法，其特征在于，包括：

基于权利要求1至9任一所述的三维标注方法，获取包括有车道线的三维标注结果的图像样本；

将所述图像样本作为待训练的车道线检测网络的输入数据，将对应车道线的三维标注结果作为所述待训练的车道线检测网络的输出结果的监督数据，对所述待训练的车道线检测网络进行至少一轮训练，得到训练好的车道线检测网络。

11.根据权利要求10所述的方法，其特征在于，在得到训练好的车道线检测网络之后，所述方法还包括：

获取待检测图像；

将所述待检测图像输入到所述训练好的车道线检测网络，得到所述待检测图像中目标车道线的三维检测结果。

12.一种三维标注装置，其特征在于，包括：

获取模块，用于获取同一目标场景下分别采集的目标图像和目标点云数据；

确定模块，用于基于所述目标点云数据中的点云点的三维坐标信息，确定将所述目标点云数据投影至所述目标图像后，各个所述点云点分别对应的投影点的二维坐标信息；

标注模块，用于基于所述投影点的二维坐标信息、所述投影点所对应的点云点的三维坐标信息、以及针对所述目标图像中的目标车道线进行标注的二维标注结果，确定所述目标车道线的三维标注结果。

13.一种车道线检测装置，其特征在于，包括：

获取模块，用于基于权利要求1至9任一所述的三维标注方法，获取包括有车道线的三维标注结果的图像样本；

检测模块，用于将所述图像样本作为待训练的车道线检测网络的输入数据，将对应车道线的三维标注结果作为所述待训练的车道线检测网络的输出结果的监督数据，对所述待训练的车道线检测网络进行至少一轮训练，得到训练好的车道线检测网络。

14.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的三维标注方法的步骤或者如权利要求10或11所述的车道线检测方法的步骤。

15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求9任一所述的三维标注方法的步骤或者如权利要求10或11所述的车道线检测方法的步骤。

Images