CN112740225A - 一种路面要素确定方法及装置 - Google Patents

Abstract

一种路面要素确定方法及装置，应用于智能汽车领域，涉及自动驾驶或者智能驾驶，例如电子地图获取。本申请中，获取路面的激光点云以及该路面的图像，提取该路面的激光点云中至少一个路面要素的候选激光点云点，根据该路面的激光点云确定所述路面所在的曲面；提取该路面的图像中至少一个路面要素的候选像素点，根据该至少一个路面要素的候选像素点的坐标以及该曲面确定所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标；根据所述至少一个路面要素的候选激光点云点的坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标，确定至少一个路面要素点的坐标。采用本申请可提高路面要素提取的准确性与可靠性。

Description

一种路面要素确定方法及装置

技术领域

本申请涉及智能驾驶领域，尤其涉及一种路面要素确定方法及装置。

背景技术

智能驾驶(包括辅助驾驶、无人驾驶)领域飞速发展，在智能驾驶系统中，实时环境感知的准确性以及电子地图的精度，对于智能驾驶的安全性尤为重要。

实时环境感知包括对路面上的各种路面要素的识别，高精度的电子地图中也需要准确标识出路面上的各种路面要素。其中，路面要素可包括车道线、停止线、路面标识、箭头、文字等。作为路网信息的重要组成部分，路面要素在实时环境感知与高精度电子地图制作中都是必要的要素。

因此，目前亟需一种能够准确确定路面要素的方法。

发明内容

本申请提供一种路面要素确定方法及装置，用以准确地确定路面要素。

第一方面，提供一种路面要素确定方法，包括：

获取路面的激光点云以及所述路面的图像；

提取所述路面的激光点云中至少一个路面要素的候选激光点云点，并根据所述路面的激光点云确定所述路面所在的曲面；

提取所述路面的图像中至少一个路面要素的候选像素点，根据所述至少一个路面要素的候选像素点的坐标以及所述曲面确定所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标；

根据所述至少一个路面要素的候选激光点云点的坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标，确定至少一个路面要素点的坐标，所述至少一个路面要素点对应所述至少一个路面要素中的一个或多个路面要素。

上述实施例中，基于路面的激光点云确定该路面所在的曲面，并将路面图像中的路面要素的候选像素点投影到该曲面上，进而对该投影点的坐标以及路面要素的候选激光点云点的坐标进行融合，得到该路面上的路面要素点的坐标，一方面在确定路面要素点的坐标时，既不仅依赖于激光点云也不仅依赖于路面图像，而是将两者融合考虑，从而可以提高路面要素提取的准确性和可靠性，另一方面，提取路面要素的过程中，不是直接使用图像中的像素点，而是由于基于路面的激光点云确定该路面所在的曲面，并将路面图像中的路面要素的候选像素点投影到该曲面上，即考虑到了路面实际情况对路面要素提取的准确性的影响，从而进一步提高了路面要素提取的准确性和可靠性，并使得本实施例可以适用于各种路面情况，提高了本实施例的适用性。

在一种可能的实现方式中，所述至少一个路面要素点的坐标为所述路面对应的空间内的至少一个采样空间对应的路面要素点的坐标的集合，其中，第一采样空间为所述至少一个采样空间内的任一采样空间；

所述根据所述至少一个路面要素的候选激光点云点坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，确定至少一个路面要素点的坐标，包括：

确定所述至少一个路面要素的候选激光点云点的置信度，和/或，所述第一采样空间中的至少一个路面要素的候选像素点在所述曲面上的投影点的置信度；

根据所述第一采样空间中的至少一个路面要素的候选激光点云点坐标及置信度，以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标及置信度，得到所述第一采样空间对应的路面要素点的坐标；其中，所述第一采样空间内包括至少一个候选激光点云点和/或至少一个投影点。

上述实施例中，基于路面要素的候选激光点云点的置信度，以及路面要素的候选像素点在路面曲面上的投影点的置信度，并结合一个采样空间中的候选激光点云点以及投影点坐标，计算得到该采样空间对应的路面要素点的坐标，由于一个采样空间通常包括多个候选激光点云点以及投影点，因此通过上述方式可以综合该采样空间中的这些候选激光点以及投影点的坐标得到一个路面要素点的坐标，从而提高路面要素点坐标的准确性和可靠性，另一方面，针对一个采样空间计算得到一个路面要素点的坐标以用于后续的路面要素矢量提取，还可以降低计算复杂度。

在一种可能的实现方式中，所述第一采样空间对应的路面要素点的坐标满足以下公式：

其中，P_sample表示所述第一采样空间对应的路面要素点的坐标，P_i为候选激光点云点i的坐标，p_i为所述曲面上的投影点i的坐标，C_Li为候选激光点云点i的置信度，C_ci为所述曲面上的投影点i的置信度，n为所述第一采样空间内候选激光点云点的数量，m为所述第一采样空间内所述曲面上的投影点的数量，n和m均为大于或等于1的整数。

上述实施例中，基于上述公式可实现采样分项加权方式，基于路面要素的候选激光点云点的置信度，以及路面要素的候选像素点在路面曲面上的投影点的置信度，并结合一个采样空间中的候选激光点云点以及投影点坐标，计算得到该采样空间对应的路面要素点的坐标，该方式中，综合考虑到了一个采样空间中的每个候选激光点云点的坐标以及置信度，以及该采样空间中的每个投影点的坐标以及置信度，因而提高了路面要素点坐标的准确性和可靠性。

在一种可能的实现方式中，所述至少一个路面要素的候选激光点云点的置信度满足以下公式：

C_Li＝W_L1*D_i+W_L2*I_i

其中，C_Li为候选激光点云点i的置信度，D_i为候选激光点云点i的邻域密度，I_i为候选激光点云点i的邻域相对反射率，W_L1为D_i的置信度权重系数，W_L2为I_i的置信度权重系数。

上述实施例中，基于上述公式计算候选激光点云点的置信度，可综合考虑候选激光点云点的邻域密度以及候选激光点云点的邻域相对反射率，从而可以基于路面要素的激光点云点的特征，来确定候选激光点云点的置信度，以使得结果更加准确。

在一种可能的实现方式中，所述至少一个路面要素的候选像素点在所述曲面上的投影点的置信度满足以下公式：

C_Ci＝W_C1*c_i+W_C2/L_i

其中，C_Ci为所述曲面上的投影点i的置信度，c_i为所述图像中路面要素的候选像素点i的置信度，L_i为所述投影点i的坐标与摄像装置原点的坐标间的距离，W_C1为c_i的置信度权重系数，W_C2为1/L_i的置信度权重系数。

上述实施例中，基于上述公式计算候选像素点在路面曲面上的投影点的置信度，可综合考虑图像中路面要素的候选像素点的置信度以及候选像素点在路面曲面上的投影点与所在摄像装置原点间的距离，从而可以基于路面要素的像素点的特征，来确定候选像素点在路面曲面上的投影点的置信度，以使得结果更加准确。

在一种可能的实现方式中，所述根据所述至少一个路面要素的候选激光点云点坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，确定至少一个路面要素点的坐标之前，还包括：

对所述至少一个路面要素的候选激光点云点以及所述曲面上的至少一个投影点进行聚类，得到所述至少一个路面要素的候选激光点云点以及所述曲面上的至少一个投影点所属的路面要素；

所述根据所述至少一个路面要素的候选激光点云点坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，确定至少一个路面要素点的坐标，包括：

根据第一路面要素所属的至少一个候选激光点云点的坐标以及至少一个候选像素点在所述曲面上的投影点的坐标，确定所述第一路面要素中至少一个路面要素点的坐标；其中，所述第一路面要素为聚类得到的任一路面要素。

上述实施例中，通过对所有候选激光点云点以及候选像素点在路面曲面上的投影点进行聚类，可以确定各候选激光点云点所属的路面要素的类别，以及各候选像素点在路面曲面上的投影点所属的路面要素的类别，从而可以基于属于同一路面要素类别的候选激光点云点和投影点，确定该类别的路面要素点。

在一种可能的实现方式中，所述根据所述路面的激光点云确定所述路面所在的曲面，包括：

根据所述路面的激光点云中点云点的坐标，生成所述路面所在的网格化曲面；

所述根据所述至少一个路面要素的候选像素点坐标以及所述曲面确定所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，包括：

根据所述至少一个路面要素的候选像素点坐标以及所述网格化曲面，确定所述至少一个路面要素的候选像素点在所述网格化曲面中的投影点坐标。

上述实施例中，采用网格化曲面，可以降低系统计算开销。

在一种可能的实现方式中，还包括：根据所述至少一个路面要素点的坐标，确定或者输出所述一个或多个路面要素的信息。

在一种可能的实现方式中，所述获取路面的激光点云以及所述路面的图像，包括：

获取来自于至少一个激光雷达的所述路面的激光点云，以及来自至少一个摄像装置的所述路面的图像；

所述激光点云中的点云点坐标和所述图像中的像素点坐标属于同一坐标系。

在一种可能的实现方式中，所述路面要素包括以下至少一项：车道线、停止线、路面标识、箭头、文字。

第二方面，提供一种路面要素确定装置，包括：

获取单元，用于获取路面的激光点云以及所述路面的图像；

处理单元，用于提取所述路面的激光点云中至少一个路面要素的候选激光点云点，并根据所述路面的激光点云确定所述路面所在的曲面；

所述处理单元还用于提取所述路面的图像中至少一个路面要素的候选像素点，根据所述至少一个路面要素的候选像素点的坐标以及所述曲面确定所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标；以及，根据所述至少一个路面要素的候选激光点云点的坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标，确定至少一个路面要素点的坐标，所述至少一个路面要素点对应所述至少一个路面要素中的一个或多个路面要素。

在一种可能的实现方式中，所述至少一个路面要素点的坐标为所述路面对应的空间内的至少一个采样空间对应的路面要素点的坐标的集合，其中，第一采样空间为所述路面对应的至少一个采样空间内的任一采样空间；

所述处理单元具体用于：

确定所述至少一个路面要素的候选激光点云点的置信度，和/或，所述第一采样空间中的至少一个路面要素的候选像素点在所述曲面上的投影点的置信度；

根据所述第一采样空间中的至少一个路面要素的候选激光点云点坐标及置信度，以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标及置信度，得到所述第一采样空间对应的路面要素点的坐标；其中，所述第一采样空间内包括至少一个候选激光点云点和/或至少一个投影点。

在一种可能的实现方式中，所述第一采样空间对应的路面要素点的坐标满足以下公式：

其中，P_sample表示所述第一采样空间对应的路面要素点的坐标，P_i为候选激光点云点i的坐标，p_i为所述曲面上的投影点i的坐标，C_Li为候选激光点云点i的置信度，C_ci为所述曲面上的投影点i的置信度，n为所述第一采样空间内候选激光点云点的数量，m为所述第一采样空间内所述曲面上的投影点的数量，n和m均为大于或等于1的整数。

在一种可能的实现方式中，所述至少一个路面要素的候选激光点云点的置信度满足以下公式：

C_Li＝W_L1*D_i+W_L2*I_i

其中，C_Li为候选激光点云点i的置信度，D_i为候选激光点云点i的邻域密度，I_i为候选激光点云点i的邻域相对反射率，W_L1为D_i的置信度权重系数，W_L2为I_i的置信度权重系数。

在一种可能的实现方式中，所述至少一个路面要素的候选像素点在所述曲面上的投影点的置信度满足以下公式：

C_Ci＝W_C1*c_i+W_C2/L_i

其中，C_Ci为所述曲面上的投影点i的置信度，c_i为所述图像中路面要素的候选像素点i的置信度，L_i为所述投影点i的坐标与摄像装置原点的坐标间的距离，W_C1为c_i的置信度权重系数，W_C2为1/L_i的置信度权重系数。

在一种可能的实现方式中，所述处理单元还用于：

根据所述至少一个路面要素的候选激光点云点坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，确定至少一个路面要素点的坐标之前，对所述至少一个路面要素的候选激光点云点以及所述曲面上的至少一个投影点进行聚类，得到所述至少一个路面要素的候选激光点云点以及所述曲面上的至少一个投影点所属的路面要素；

所述根据所述至少一个路面要素的候选激光点云点坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，确定至少一个路面要素点的坐标，包括：

根据第一路面要素所属的至少一个候选激光点云点的坐标以及至少一个候选像素点在所述曲面上的投影点的坐标，确定所述第一路面要素中至少一个路面要素点的坐标；其中，所述第一路面要素为聚类得到的任一路面要素。

在一种可能的实现方式中，所述处理单元具体用于：根据所述路面的激光点云中点云点的坐标，生成所述路面所在的网格化曲面；根据所述至少一个路面要素的候选像素点坐标以及所述网格化曲面，确定所述至少一个路面要素的候选像素点在所述网格化曲面中的网格上的投影点坐标。

在一种可能的实现方式中，所述处理单元还用于：根据所述至少一个路面要素点的坐标，确定或者输出所述一个或多个路面要素的信息。

在一种可能的实现方式中，所述获取单元具体用于：获取来自于至少一个激光雷达的所述路面的激光点云，以及来自至少一个摄像装置的所述路面的图像。所述激光点云中的点云点坐标和所述图像中的像素点坐标属于同一坐标系。

在一种可能的实现方式中，所述路面要素包括以下至少一项：车道线、停止线、路面标识、箭头、文字。

第三方面，提供一种路面要素确定装置，包括至少一个处理器和接口，其中，所述接口，用于为所述至少一个处理器提供程序指令或者数据；所述至少一个处理器用于执行所述程序行指令，以实现如上述第一方面中任一项所述的方法。

第四方面，提供一种车载系统，包括如上述第二方面中任一项所述的装置。

在一种可能的方式中，所述车载系统还包括至少一个激光雷达以及至少一个摄像装置。

第五方面，提供一种计算机存储介质，其上存储有计算机程序或指令，所述计算机程序或指令被至少一个处理器执行时实现如上述第一方面中任一项所述的方法。

附图说明

图1为本申请实施例适用的一种系统架构；

图2为本申请实施例提供的一种路面要素确定方法的框图；

图3为本申请实施例中从路面的激光点云提取路面要素的候选激光点云点集合的原理示意图；

图4为本申请实施例中根据路面的激光点云拟合得到的网格曲面的示意图；

图5为本申请实施例中的路面要素确定方法的流程示意图；

图6为本申请实施例中的路面要素确定装置的结构示意图；

图7分别为本申请实施例提供的一种通信装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。

以下，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

(1)路面要素

路面要素是指路面上用于交通指引的各种标记，比如，路面要素可包括以下至少一项：车道线、停止线、路面标识、箭头、文字等。可选的，可使用油漆等材质在路面上刷涂路面要素。

(2)点云以及激光点云

通过测量设备测量得到的物体外观表面上的点数据集合可称之为点云(pointcloud)，点云是在目标对象表面特性的海量点集合。

基于激光测量原理测量到的点云称之为激光点云。激光点云可包括三维坐标(X,Y,Z)和激光反射强度(Intensity)。由于路面要素是由油漆等材质刷涂在路面上，其对激光的反射强度不同于路面，故可以通过反射强度区分路面要素与路面，路面要素的点云包括该路面要素外表面上各采样点的空间坐标以及激光反射强度等信息。

(3)世界坐标系和用户坐标系

世界坐标系是系统的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。举例来说，由于摄像装置可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像装置的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。

用户坐标系是以指定的物体或对象的中心为原点的坐标系，比如车体坐标系是以车体中心为原点的坐标系。

不同坐标系之间可基于坐标系间的转换参数进行转换，所述转换参数可包括旋转矩阵与平移向量。

本申请实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上，鉴于此，本申请实施例中也可以将“多个”理解为“至少两个”。“至少一个”，可理解为一个或多个，例如理解为一个、两个或更多个。例如，包括至少一个，是指包括一个、两个或更多个，而且不限制包括的是哪几个，例如，包括A、B和C中的至少一个，那么包括的可以是A、B、C、A和B、A和C、B和C、或A和B和C。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

除非有相反的说明，本申请实施例提及“第一”、“第二”等序数词用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。

方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。

在智能驾驶领域，高精度电子地图采集系统或者无人驾驶系统通常具备激光雷达(light detection and ranging，LiDAR)、摄像装置以及高精度定位定姿设备。其中，激光雷达能够获取具有反射强度的三维激光点云，摄像装置能够获取彩色影像，高精度定位定姿设备能够获得激光雷达和摄像装置的位姿。

一般地，由于路面要素是通过油漆等材质刷涂在路面上的，其对激光的反射强度要高于路面，故可以通过激光点云的反射强度区分路面要素与路面。而路面要素一般是白色、黄色等，在图像中可以通过颜色信息等分割出路面要素。

目前采用的一些路面要素确定方法中，基于二维图像进行路面要素检测，获取属于路面要素的像素点，然后将三维激光点云投影到该二维图像中的路面要素像素上，以确定路面要素。该方法强依赖于基于二维图像的路面要素检测结果，在强光、遮挡或其它图像检测效果不佳的情况下，可能产生漏提或者误提取，导致路面要素提取的准确性较低。

目前采用的另一些路面要素确定方法中，将激光点云以一定的分辨率(如10*10cm的采样空间对应一个像素点)转为二维俯视图，该二维俯视图的像素值由强度值换算而来，然后基于强度图进行路面要素的提取。同时，基于图像进行路面要素检测，对检测结果进行反透视变换，转为与二维强度图同样的视角，将二者进行叠加匹配，将最终的路面要素像素点对应的三维激光点云点作为最终的路面要素提取候选点。该方法需要将透视图像转为正视图像再进行路面要素检测，而转正视图像只能基于一个固定的地面高度参数，在有坡度的路段无法准确估计三维位置，与二维强度图无法对应，导致路面要素提取精度降低。

为解决上述问题，本申请实施例提供一种路面要素确定方法和装置，通过融合激光点云与图像进行路面要素提取，可以应用于高精度电子地图制作的场景或者应用于智能驾驶(如辅助驾驶或自动驾驶)场景中的环境感知。本申请实施例可以充分利用路面的激光点云和图像进行路面要素的提取，而不单独依赖于其中一种信息，从而可以提高路面要素提取的准确性(即具有更高的三维空间位置精度)，进一步地，还可以提高鲁棒性(即可在更复杂的环境条件下保证路面要素提取的有效性)。

下面结合附图对本申请实施例进行描述。

图1示例性示出了本申请实施例适用的一种系统。

如图1所示，该系统中包括至少一个激光雷达(例如，101a,101b,…,101n)、至少一个摄像装置(例如，102a,102b,…,102m)、至少一个定位位姿设备103和/或至少一个存储设备104摄像装置。所述系统还包括路面要素确定装置105。进一步地，还可包括时间同步设备106。

激光雷达(101a,101b,…,101n)、摄像装置(102a,102b,…,102m)以及定位位姿设备103分别与存储设备104连接，存储设备104与路面要素确定装置105连接。时间同步设备106分别与激光雷达(101a,101b,…,101n)、摄像装置(102a,102b,…,102m)以及定位位姿设备103连接。

时间同步设备106可为激光雷达(101a,101b,…,101n)、摄像装置(102a,102b,…,102m)以及定位位姿设备103进行授时，以使得各激光雷达以及各摄像装置时间同步。

激光雷达(101a,101b,…,101n)用于对路面进行测量，以获取路面的激光点云，并将获取到的激光点云存储到存储设备104中。

摄像装置(102a,102b,…,102m)可采集路面的图像，并将采集到的路面的图像存储到存储设备104中。摄像装置(102a,102b,…,102m)可以是彩色摄像装置，比如彩色摄像装置，能够采集到彩色图像。

定位位姿设备103用于检测激光雷达和/或摄像装置的位姿等信息，并将检测到的位姿等信息存储到存储设备104中。

路面要素确定装置105可以根据存储设备104中存储的路面的激光点云、图像等数据，确定该路面上的路面要素。

上述系统可以是车载系统，上述激光雷达、摄像装置、位置定位装置、存储设备、路面要素确定设备等，可以被安装在车辆上，并构成车载系统的组成部分。

需要说明的是，上述系统中，激光雷达的数量以及摄像装置的数量仅为示例，本申请实施例对激光雷达的数量和摄像装置的数量不做限制。如果激光雷达的数量为多个，则该多个激光雷达可以设置在不同位置，如果摄像装置的数量为多个，则该多个摄像装置可设置在不同位置。

上述系统可被应用于高精度电子地图制作场景，也可以被应用于智能驾驶场景(如辅助驾驶场景或自动驾驶场景)。

在高精度电子地图制作场景中，由搭载了上述系统的高精度电子地图采集车进行路面信息采集并根据采集到的路面信息确定路面上的路面要素，以用于制作高精度电子地图。具体地，可由时间同步设备为上述系统内的激光雷达、摄像装置以及定位定姿设备进行授时。在路面信息采集过程中，激光雷达采集到的路面激光点云、摄像装置采集到的路面图像，以及定位定姿设备检测到的激光雷达和摄像装置的位姿信息被存储至存储设备内。在高精度电子地图制作过程中，路面要素确定装置可首先根据定位位姿设备检测到的位姿信息，将激光雷达采集到的激光点云、摄像装置采集到的图像经过标定统一到同一坐标系中，比如统一到世界坐标系中，再根据统一到同一坐标系中的激光点云和图像进行路面要素的确定过程。例如，事先将路面的激光点云中的点云点坐标和图像中的像素点坐标统一到世界坐标系，则最终提取到的路面要素是在世界坐标系下的高精度电子地图矢量数据。

在智能驾驶场景中，由搭载了上述系统的智能车辆实时进行路面信息采集并根据采集到的路面信息确定路面上的路面要素，以用于智能驾驶过程中的定位或者车辆控制。具体地，在路面信息采集过程中，激光雷达采集到的路面激光点云、摄像装置采集到的路面图像，以及定位定姿设备检测到的激光雷达和摄像装置的位姿信息被存储至存储设备内。在智能驾驶功能运行过程中，路面要素确定装置可首先根据定位位姿设备检测到的位姿信息，将激光雷达采集到的激光点云、摄像装置采集到的图像经过标定统一到同一坐标系中，比如统一到该车辆车体坐标系中，再根据统一到同一坐标系中的激光点云和图像进行路面要素的提取过程。如果事先将路面的激光点云中的点云点坐标和图像中的像素点坐标统一到车辆车体坐标系，则最终提取到的路面要素是在该车体坐标系下的车身周边路面要素的矢量数据。

图2示例性示出了本申请实施例提供的一种路面要素确定方法的框图。该方法可由上述系统实现，或者有上述系统中的路面要素确定装置实现。该方法可应用于高精度电子地图制作场景，也可应用于智能驾驶场景。

下面结合图2和图3，对本申请实施例进行描述。

如图2所示，该流程可包括如下步骤：

S201：获取路面的激光点云以及该路面的图像。

其中，路面的激光点云可由至少一个激光雷达采集得到。激光点云是点云点的集合，该集合中的每个点云点的信息包括点云点的三维坐标(X,Y,Z)以及激光反射强度。

路面的图像可由至少一个摄像装置采集得到。该图像可以是彩色图像。

一种可选的设计中，车辆上可安装至少一个激光雷达以及至少一个摄像装置，获取车辆前部安装的激光雷达以及摄像装置所采集的数据，由于车辆前部安装的激光雷达和摄像装置的数据采集区域包括车辆前方路面，因此可获取车辆前方路面的激光点云以及图像。

可选地，可将雷达装置采集的激光点云以及摄像装置采集的图像数据，基于轨迹数据进行关联处理，得到同一路面的激光点云以及图像。其中，所述轨迹数据包括基于卫星定位系统获得的轨迹数据，或者基于惯性测量单元(Inertial measurement unit，IMU)获得的轨迹数据。其中，卫星定位系统包括但不限于全球定位系统(Global PositioningSystem，GPS)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、北斗卫星导航系统等。一种可选的处理过程包括：对一区域而言，一方面获得激光雷达在某一时段(为描述方便，这里称为第一时段)行驶过该区域时获取的激光点云，结合轨迹数据，将激光点云转换至指定坐标系(如世界坐标系)；另一方面，同样对于该区域，获得摄像装置在同一时段(即上述第一时段)行驶过同一区域时获取的图像数据，结合轨迹数据，将图像数据转换至上述指定坐标系。其中，坐标系转换的相关说明可参见下面的描述。

其中，对于摄像装置而言，所述路面的图像可以包括单帧图像，也可以包括一段连续时间内的多帧图像。如果是一段连续时间内的多帧图像，则可以针对每帧图像采用本申请实施例提供的方式确定路面要素；也可以基于该多帧图像采用跟踪算法得到一定空间内(比如该连续时间内拍摄的10米长的路面上)的路面图像，用于后续步骤以确定路面要素。

在一些实施例中，获取到路面的激光点云以及该路面的图像后，还可以对激光点云和/或图像进行数据预处理操作，从而仅保留路面相关的数据，去除其他干扰数据，以便于后续进行路面要素的提取。

举例来说，可对激光点云进行以下预处理中的至少一项：

(1)路面分割，即，保留属于路面的点云点，去除非路面(比如天空、路旁建筑物、路边设施等)的点云点；

(2)障碍物去除，即，去除路面上属于障碍物(比如路面上的车辆、行人、非机动车、护栏、隔离带等)的点云点。

上述数据预处理方法可以采用基于规则的方法，举例来说，可以根据预先给出的属于路面上的点云点应该满足的条件，将激光点云中满足上述条件的点云点确认为属于路面的点云点，将不满足该条件的点云点去除。

上述数据预处理方法还可以采用机器学习方法，举例来说，可预先对分类器进行训练，将激光点云输入到该分类器，得到输出的属于路面的点云点。该分类器可通过神经网络实现，用于识别路面上和非路面上的点云点。

在一些实施例中，获取到路面的激光点云以及该路面的图像后，可根据该激光点云以及图像的采集时刻的位姿信息(如包括激光雷达和/或摄像装置的位姿信息)，将该激光点云中的点云点的坐标和该图像中的像素点的坐标转换到指定的同一坐标系下。其中，该同一坐标系可以为世界坐标系或者车体坐标系等。例如，在高精度电子地图制作场景下，该指定坐标系可以是世界坐标系，以使得通过本流程可以得到在世界坐标系下的高精地图矢量数据。又如，在智能驾驶应用场景下，该指定坐标系可以是车体坐标系，以使得通过本流程就可以得到在车体坐标系下的车身周边路面要素的矢量数据。

将激光点云转换为世界坐标系的原理，与下面所描述的将激光点云转换为地心地固坐标系的原理类似。

在地心地固坐标系E(简称地心坐标系)中，设某一个激光点云点P的地貌坐标为(x_P,y_P,z_P)，激光器扫描镜中心点的坐标为(X_L,Y_L,Z_L)，激光点云点P与激光扫描镜中心点之间的量测距离分量为(ΔX_P，ΔY_P，ΔZ_P)，则激光点云点P在地心地固坐标系E中的地面坐标可以表示为：

激光点云点P与激光扫描镜中心点之间的量测距离分量(ΔX_P，ΔY_P，ΔZ_P)通过坐标变换过程来实现，变换过程如下：瞬时激光束坐标系SL-＞激光扫描参数坐标系T-＞激光载体坐标系L-＞IMU载体坐标系b-＞当地水平参考坐标系g-＞地心地固坐标系E，变换方程为：

不考虑偏心矢量的点云地面点计算公式为：

其中，

为当地水平参考坐标系g到地心地固坐标系E的旋转矩阵，与激光点处的经纬度坐标(B，L)相关；

为激光载体坐标系L到当地水平参考坐标系g的旋转矩阵，由姿态角(φ，θ，ψ)构成；

为激光扫描参考坐标系T相对于激光载体坐标系L的姿态旋转矩阵，由偏心角(θ_x，θ_y，θ_z)构成；

为瞬时激光束坐标系SL到激光扫描参考坐标系T之间的旋转矩阵，由激光棱镜扫过的角度θ_i确定；p为激光器扫描镜中心到激光点云点P的斜距。

综合上述式(2)和式(3)，可以解算任意一个激光点云点P的地面坐标。

S202：提取该路面的激光点云中至少一个路面要素的候选激光点云点，并根据该路面的激光点云确定该路面所在的曲面。

通常情况下，路面的激光点云中包含多种路面要素的点云点，一个路面要素对应的点云点的数量通常也较多，这种情况下，本申请实施例中从该路面的激光点云中提取路面要素的候选激光点云点。

由于路面要素通常采用不同于路面的材料涂刷在路面上，该材料对激光的反射强度不同于路面材料对激光的反射强度，因此可以根据路面要素的激光点云中点云点的激光反射强度来提取路面要素的候选激光点云点。比如由于路面要素(比如车道线、停止线、路面标识、箭头、文字等)通常由油漆涂刷在路面上，激光照射在油漆上的反射强度要大于照射在路面上的反射强度，因此可以根据点云点的激光反射强度，获取路面要素的候选激光点云点，即，从路面的激光点云中获取具有高反射强度(比如反射强度大于设定阈值)的点云点，作为路面要素的候选激光点云点，从而可到路面要素的候选激光点云点集合。

图3示例性示出了从路面的激光点云中提取路面要素的候选激光点云点集合的原理示意图。如图所示，图3中的(a)示出了实际场景中路面300上的路面要素(如图中的直行指示301，人行横道预告标线302，掉头指示303，车道线304)，图3中的(b)示出了由激光雷达采集的激光点云中各点的激光反射强度信息，其中，路面要素上的点的激光反射强度要大于路面上的点的激光反射强度，因此可这些具有较高激光反射强度的点确定为路面要素的候选激光点云点。

可选地，还可以进行一些其它去噪操作以得到更可靠的结果，从而提高路面要素的候选激光点云点的准确性或可靠性，比如，可去除通过以上操作初步选取出的候选激光点云点集合中的离群点。

步骤S202中，进一步可选的，可根据路面的激光点云中的点云点的坐标进行曲面拟合，得到该路面所在的曲面。

进一步地，为了简化后续的计算复杂度，可对路面进行网格化处理，使用在每个网格内的激光点云点拟合平面，得到网格化的曲面。网格的尺度可以根据ODD(operationaldesign domain，运行设计域)进行调节。该路面所在的曲面或网格化曲面，可以表征为三维数学模型，该三维数学模型具体可以是曲面方程、网格平面方程、数字高程模型(digitalelevation model，DEM)等，本申请实施例对该曲面或网格化曲面的表现形式不做限制。

图4示例性示出了一种网格化曲面的示意图，图中虚线方格表示网格，每个网格近似为一个平面。具体实施时，可先将地面网格化以后，每个网格被拟合成平面，每个平面有一个法向量，比如，图中网格g6的法向量如图中箭头n_g6所示，图中网格g7的法向量如图中箭头n_g7所示，以此类推。

S203：提取该路面的图像中至少一个路面要素的候选像素点，根据至少一个路面要素的候选像素点的坐标以及上述曲面，确定至少一个路面要素的候选像素点在该曲面上的投影点的坐标。

通常情况下，路面的图像中包含多种路面要素，一个路面要素对应的像素点的数量通常也较多，这种情况下，本申请实施例中可针对每个路面要素的候选像素点分别确定其在该路面曲面上的投影点坐标。

该步骤中，可在路面图像中进行路面要素像素点的分割，得到该图像中路面要素的候选像素点，形成候选像素点的集合。这里的分割指示为了清楚阐述方案，不限定一定有分割的动作，以最终形成候选像素点的集合为准。

具体可以采用基于规则的方法，提取路面要素的候选像素点，举例来说，可以根据预先给出的属于路面要素上的像素点满足的条件(比如颜色为黄色或白色的像素点)，将路面图像中满足上述条件的像素点确认为路面要素的候选像素点，将不满足该条件的像素点去除。

还可以采用机器学习方法来提取路面要素的候选像素点，举例来说，可预先对分类器进行训练，将路面图像输入到该分类器，得到输出的路面要素的候选像素点。该分类器可通过神经网络实现。

可选地，还可以进行一些其它去噪操作以得到更可靠的结果，从而提高路面要素的候选像素点的准确性或可靠性，比如，可对采用上述方法初步得到的路面要素的候选像素点集合进行形态学滤波，以去除不满足要求的候选像素点。

本申请能够在更大的范围内保持路面二维图像中的路面要素的候选像素点投影至三维空间的精度，从而使得候选激光点云点与候选像素的投影点能够更好的匹配融合，以提高路面要素识别精度。在一种实测场景下，可达到横向20m、纵向40m范围内实现小于10cm误差的投影精度。

需要说明的是，如果在S202中得到的是该路面所在的网格化曲面，则在该步骤S203中，可根据候选像素点坐标以及该网格化曲面，确定候选像素点在该网格化曲面中的网格上的投影点坐标。

在S203中，将该路面图像中路面要素的候选像素点投影到该路面所在曲面三维数学模型上的过程，从数学角度来说，其本质是求该曲面所在的三维空间内射线与面的交点坐标。以平面为例说明投影的数学计算过程：

设图像上一个点像素坐标为p(u,v)，深度为s，内参矩阵为K(该内参矩阵为激光点云坐标系至摄像装置坐标系的转换参数矩阵)，摄像装置坐标系内的一点为p’(x,y,z)，外参矩阵(世界坐标系至摄像装置坐标系的转换参数矩阵)包括R_CT(旋转矩阵)和T_CT(平移向量)，对应的世界坐标系内的一个点的坐标为P(X,Y,Z)，存在以下转换关系：

对于图像上的路面要素的每个候选像素点p，其对应的世界坐标系内的点P均在路面上。设已经求得点P在拟合得到的路面曲面方程为Ax+By+Cz+D＝0，则点P的坐标满足：

联立以上式(4)和式(5)，可以得到：

依据上式可解出唯一未知数即深度s，从而得到点P的三维坐标。

S204：根据至少一个路面要素的候选激光点云点的坐标以及至少一个路面要素的候选像素点在上述曲面上的投影点的坐标，确定至少一个路面要素点的坐标或者确定至少一个路面要素点。

所述至少一个路面要素点对应所述至少一个路面要素中的一个或多个路面要素。具体实施时，可针对每个候选激光点云点的坐标以及每个候选像素点在上述曲面上的投影点的坐标，确定相应的路面要素点的坐标。

本申请实施例中，将根据候选激光点云点的坐标以及至候选像素点在上述曲面上的投影点的坐标所确定出的坐标所对应的点，称为“路面要素点”。根据路面要素点的坐标可以定位路面要素，即识别得到路面要素。

本申请实施例中，所述至少一个路面要素点的坐标为所述路面对应的空间内的至少一个采样空间对应的路面要素点的坐标的集合，其中，第一采样空间为所述至少一个采样空间中的任一采样空间。进一步可选的，所述至少一个采样空间为所述路面对应的空间内的所有采样空间。具体的，所述采样空间可以为所述路面对应的至少一个空间内的任一采样空间。

该路面对应的空间内包含多个采样空间，比如该路面对应的三维空间大小为X*Y*Z m³，一个采样空间的大小为x*y*z cm³，则该路面对应的三维空间内包含有多个采样空间。本申请实施例对一个采样空间的大小不做限制。

一个采样空间内包括至少一个候选激光点云点和/或至少一个投影点，比如，一个采样空间内包含n个候选激光点云点P_i(i＝1～n)以及m个候选像素点在上述曲面上的投影点p_i(i＝1～m)。本申请实施例中，可针对一个采样空间，根据该采样空间内的n个候选激光点云点P_i(i＝1～n)的坐标以及m个候选像素点在上述曲面上的投影点p_i(i＝1～m)的坐标计算得到一个对应的路面要素点的坐标。其中，n、m为正整数。

在一些实施例中，对于第一采样空间，可根据第一采样空间中的至少一个路面要素的候选激光点云点坐标及置信度，和/或，第一采样空间中的至少一个路面要素的候选像素点在上述曲面上的投影点坐标及置信度，得到第一采样空间对应的路面要素点的坐标。

其中，一个采样空间内可仅包括至少一个候选激光点云点，也可仅包括至少一个投影点，还可能既包括至少一个候选激光点云点，还包括至少一个投影点。

可选地，根据上述第一采样空间的不同情况，在确定第一采样空间对应的路面要素点的坐标时，相应包括以下几种情况：

情况1：若第一采样空间内仅包括至少一个候选激光点云点，则根据第一采样空间中的至少一个路面要素的候选激光点云点坐标及置信度，得到第一采样空间对应的路面要素点的坐标；

情况2：若第一采样空间内仅包括至少一个投影点，则根据第一采样空间中的至少一个路面要素的候选像素点在上述曲面上的投影点坐标及置信度，得到第一采样空间对应的路面要素点的坐标；

情况3：若第一采样空间内包括至少一个候选激光点云点以及至少一个投影点，则根据第一采样空间中的至少一个路面要素的候选激光点云点坐标及置信度，以及第一采样空间中的至少一个路面要素的候选像素点在上述曲面上的投影点坐标及置信度，得到第一采样空间对应的路面要素点的坐标。

以第一采样空间中包括多个候选激光点云点以及多个投影点为例，可首先确定每个候选激光点云点的置信度，以及每个候选像素点在上述曲面上的投影点的置信度，然后针对第一采样空间，执行以下操作：根据该采样空间中的每个候选激光点云点的坐标及置信度，以及每个候选像素点在上述曲面上的投影点的坐标及置信度，计算得到该采样空间对应的路面要素点的坐标。

采用上述方法计算得到的路面要素点的坐标，既不单独依赖于激光雷达采集到的激光点云，也不单独依赖于摄像装置采集到的图像，而是结合激光点云与图像，从而可以提高路面要素点的可靠性，进而提高路面要素的准确性，在强光、路面要素磨损、暗光等场景下，能够实现路面要素提取，降低了对数据采集环境的要求。

进一步地，由于每个候选激光点云点以及每个候选像素点的投影点都具有各自的置信度，在计算路面要素点的坐标时，对该采样空间中的候选激光点云点基于其置信度对坐标进行加权平均，对该采样空间中的候选像素点的投影点基于其置信度对坐标进行加权平均，再结合两者得到路面要素点的坐标，因此进一步提高了路面要素点的可靠性。

本申请的一些实施例中，可采用以下公式计算得到路面要素点的坐标：

其中，P_sample表示一个采样空间对应的路面要素点的坐标，P_i为候选激光点云点i的坐标，p_i为上述曲面上的投影点i的坐标，C_Li为候选激光点云点i的置信度，C_ci为上述曲面上的投影点i的置信度，n为该采样空间内候选激光点云点的数量，m为该采样空间内上述曲面上的投影点的数量，n和m均为大于或等于1的整数。

在一些实施例中，可以采用以下公式计算候选激光点云点的置信度：

C_Li＝W_L1*D_i+W_L2*I_i………………………………………………………(8)

其中，C_Li为候选激光点云点i的置信度，D_i为候选激光点云点i的邻域密度，I_i为候选激光点云点i的邻域相对反射率，W_L1为D_i的置信度权重系数，W_L2为I_i的置信度权重系数。

其中，W_L1+W_L2＝1。W_L1和W_L2可预先设置。W_L1和W_L2的设置与激光雷达的性能指标相关，可根据经验值配置。

其中，统计邻域为一种固定大小与形状的空间(其大小可根据道路标线的尺寸经验地设置为15～30cm)。以圆形为例，候选点为圆心，半径为r的圆形，该圆形内的激光点云点的数量为n_i，则候选激光点云点i的邻域密度

设候选激光点云点i的反射率为I，邻域内所有激光点云点的反射率平均值为I_a，则候选激光点云点i的邻域相对反射率I_i＝I/I_a。

在一些实施例中，可采用以下公式计算候选像素点在上述曲面上的投影点的置信度：

根据以下公式确定所述候选像素点在所述曲面上的投影点坐标的置信度：

C_Ci＝W_C1*c_i+W_C2/L_i………………………………………………………(9)

其中，C_Ci为上述曲面上的投影点i的置信度，c_i为图像中路面要素的候选像素点i的置信度，L_i为投影点i的坐标与摄像装置原点的坐标间的距离。其中，摄像装置原点是指摄像装置坐标系原点。在将坐标系统一到世界坐标系的情况下，L_i的含义可表述为：投影点i在世界坐标系下的坐标与拍摄该帧图像时摄像装置坐标系原点(如相机坐标系原点)在世界坐标系下的坐标间的距离。使用L_i的倒数的意义是由于图像检测结果距离越远的像素点检测越不准确。W_C1为c_i的置信度权重系数，W_C2为1/L_i的置信度权重系数。

其中，W_C1+W_C2＝1。W_C1和W_C2可预先设置。W_C1和W_C2的设置与图像检测算法的性能与摄像装置的性能指标相关，可根据经验值配置。

置信度的值域一般为0～1，越接近1表示置信度越高。

可选地，可采用深度神经网络类的算法计算候选像素点i在上述曲面上的投影点的置信度c_i。

上述方法中，将从激光点云中分割出的具有高反射强度的候选激光点云点与图像中检测出的属于路面要素的候选像素在曲面上的投影点，通过加权的方式，选取出最可靠的路面要素点。具体而言，针对激光点云中分割出的高反射强度点云，可以对其领域密度以及领域相对反射强度等进行加权。图像中检测出的属于路面要素的三维像素投影点，可以对其检测置信度、距离投影中心的距离，在相幅内的位置等进行加权。最终，在每个采样区间内，综合所有点的加权结果，得到最终的候选点。

进一步地，上述流程中还可包括以下步骤：根据至少一个路面要素点的坐标，确定或者输出所述一个或多个路面要素的信息。

其中，所述路面要素的信息可以是路面要素矢量数据，具体可包括路面要素点的坐标、颜色、类型等。

该步骤中，根据以上过程计算得到的路面要素点的坐标，再进一步结合路面要素的颜色、类型等信息，可以确定出路面要素，即可输出路面要素矢量数据。其中，路面要素的颜色、类型，可通过对该路面的图像进行检测得到。

在一些实施例中，在S205中，可以对S204中得到的属于同一类别的路面要素点进行拟合处理，以得到该路面要素的矢量数据。以车道线为例，在S204中可能得到上万个数量级的车道线点的坐标，通过对这些点进行拟合可以得到车道线的形状，基于该形状可使用其中上百个数量级的点就能表示该车道线，因此可以降低该车道线的信息的数据量。

基于上述任一实施例或多个实施例的组合，图5示例性示出了本申请实施提供的一种路面元素确定方法的示意图。

如图所示，该流程可包括激光点云处理过程、图像处理过程以及融合处理过程。

激光点云处理过程可包括：

在501，获取来自激光雷达的激光点云。可选的，该步骤可以采用基于规则的或基于机器学习的方法，去除该激光点云中属于障碍物(比如路面上的车辆、行人、非机动车、护栏、隔离带等)的点云点；

在502，获取路面的激光点云。可选的，在步骤501获取的激光点云中去除了障碍物，进一步采用基于规则的或基于机器学习的方法，去除非路面(比如天空、路边设施等)的点云点，从而提取得到属于路面的激光点云；

在503，基于502得到的路面的激光点云，得到网格化的路面曲线。具体的，对所述路面的激光点云进行网格平面拟合处理，得到表征实际路面的三维数学模型(比如网格平面方程)，即所述网格化的路面曲面；

在504，从路面的激光点云中分离得到高反射强度的点云点；

在505，得到路面要素的候选激光点云点集合。具体的，可以对分离得到的高反射强度的点云点进行去燥处理(比如去除离群点)。

图像处理过程可包括：

在510，获取来自摄像装置的图像。可选的，采用基于规则的或基于机器学习的方法，检测该图像中的路面要素像素点，并进一步对检测到的路面要素像素点进行去噪操作(如形态学滤波)，得到路面要素的候选像素点集合；

在511，将在图像中检测到的路面要素的候选像素点集合中的像素点，投影至503中得到的路面曲面上，得到路面要素的候选像素点在该路面曲面上的投影点集合。其中，在计算投影点坐标时，还需要使用用于坐标系转换的内参、外参数据，以及位姿数据(如摄像装置的位姿数据)。

在512，进行拟合操作，即，将每帧图像中检测出的路面要素的像素点，通过拟合手段，拟合相应路面要素的形状(比如针对车道线，拟合为执行或曲线)，从而去除一些明显与路面元素形状不符的识别结果(比如针对车道线，去除明显不是直线以及朝向与车道方向明显不符合的识别结果，以避免将路灯杆对象等识别成了车道线)；

在513，进行跟踪处理，比如，以车道线为例，根据图像帧间的连续性，通过跟踪的方式将同一条车道线归类为一条车道线；

在514，进行去燥处理，即，通过去躁算法过滤掉噪声点，比如采用离群点去除方法将一些离其它点都比较远的点去掉。

融合处理过程可包括：

在520，将505中得到的路面要素的候选激光点云点集合，与514中从图像中得到的并进行处理后的路面要素的候选像素点在路面曲面上的投影点集合，采用分项加权方式进行融合(如采用上述公式7、8、9)，以得到路面要素点的坐标；

在521，对各路面要素点的坐标进行聚类，以确定每个路面要素点所属的路面要素类别；

在522，分别针对每个类别的路面要素：从512得到的各路面要素点中选取属于该同一类别路面要素的点的坐标，并结合该路面要素的点的颜色，得到该路面要素的矢量数据。

需要说明的是，上述流程中部分步骤的具体实现方式可参见前述实施例的相关内容，在此不再重复。另外，上述501-522中的任一个或者多个步骤，可以是产品的内部实现，不作为独立执行的步骤，属于中间过程，具体取决于算法以及产品的实现。即，上述501-522中可以存在一个或多个可选步骤，本申请不具体限定。

本申请的一些实施例中，考虑到路面上可能包含多个路面要素(比如可包括车道线以及等车线等)，可通过聚类来确定路面上所包括的路面要素，即，确定各候选激光点云点以及候选像素点在曲面上的投影点所属的路面要素，从而根据路面要素点的坐标识别出该路面上的每个路面要素。

具体地，在S204之前，可对候选激光点云点以及候选像素点在上述曲面上的投影点进行聚类，得到各候选激光点云点以及该曲面上的各投影点所属的路面要素。相应地，在S204中，针对属于同一个路面要素的候选激光点云点的坐标以及候选像素点在上述曲面上的投影点的坐标，按照S204所示的方法进行计算，可得到该路面要素的各点的坐标，从而可以确定出该路面要素，即确定出该路面要素在路面上的位置、形状等。

由于在很多实际场景中，路面并非是一个平面，所以本申请上述实施例中使用激光点云得到真实路面的数学模型相对于使用某一固定的投影平面，能够在更大的范围内保持路面二维图像中的路面要素的候选像素点投影至三维空间(路面曲面)的精度，从而使得路面要素的候选激光点云点与候选像素点的投影点能够更好的匹配融合。

具体而言，在针对高精度电子地图制作场景中，由于本申请上述实施例在更大的范围内保持二维像素点投影至三维空间的精度，所以基于同样的采集数据(包括激光点云以及图像)，能够完成更大范围的高精度电子地图的制作(比如之前一次采集能够完成三车道地图的制作，而使用本申请实施例能够完成五车道地图的制作)，从而降低了高精地图的制作成本。

针对智能驾驶(如辅助/自动驾驶)系统而言，由于本申请实施例在更大的范围内保持二维像素点投影至三维空间的精度，所以可信的路面要素感知范围加大，从而提升了智能驾驶系统的安全性。

另一方面，本申请的实施例中，综合使用激光点云与图像进行路面要素的提取，而不单独依赖某一种数据，从而提升了路面要素提取的鲁棒性。具体而言，针对高精度地图制作，由于本申请实施例在强光、路面要素磨损、暗光等场景下能够实现路面要素提取，降低了对数据采集环境的要求，从而能够提升高精地图制作效率，降低制作成本。针对智能驾驶(辅助/自动驾驶)系统而言，由于本申请实施例在强光、路面要素磨损、暗光等场景下也能实现路面要素提取，使得环境感知系统工作域增大，提升了辅助/自动驾驶系统的安全性。

基于同一发明构思，本申请实施例还提供一种路面要素确定装置，该装置可以具有如图6所示的结构，所述装置可以是路面要素确定装置，也可以是能够支持上述装置实现上述方法的芯片或芯片系统。

如图6所示，该装置600可包括：获取单元601、处理单元602。

获取单元601，用于获取路面的激光点云以及所述路面的图像；

处理单元602，用于提取所述路面的激光点云中至少一个路面要素的候选激光点云点，并根据所述路面的激光点云确定所述路面所在的曲面；提取所述路面的图像中至少一个路面要素的候选像素点，根据所述至少一个路面要素的候选像素点的坐标以及所述曲面确定所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标；以及，根据所述至少一个路面要素的候选激光点云点的坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标，确定至少一个路面要素点的坐标，所述至少一个路面要素点对应所述至少一个路面要素中的一个或多个路面要素。

在一些实施例中，所述至少一个路面要素点的坐标为所述路面对应的空间内的至少一个采样空间对应的路面要素点的坐标的集合，其中，第一采样空间为所述至少一个采样空间内的任一采样空间。处理单元602可具体用于：

确定所述第一空间中的至少一个路面要素的候选激光点云点的置信度，和/或，所述第一采样空间中的至少一个路面要素的候选像素点在所述曲面上的投影点的置信度；

根据所述第一采样空间中的至少一个路面要素的候选激光点云点坐标及置信度，和/或，所述第一空间中的至少一个路面要素的候选像素点在所述曲面上的投影点坐标及置信度，得到所述第一采样空间对应的路面要素点的坐标；其中，所述第一采样空间内包括至少一个候选激光点云点和/或至少一个投影点。

在一些实施例中，处理单元602确定出的所述第一采样空间对应的路面要素点的坐标满足前述公式(7)。

在一些实施例中，处理单元602确定出的所述至少一个路面要素的候选激光点云点的置信度满足前述公式(8)。

在一些实施例中，处理单元602确定出的所述至少一个路面要素的候选像素点在所述曲面上的投影点的置信度满足前述公式(9)。

在一些实施例中，处理单元602还用于：

根据所述至少一个路面要素的候选激光点云点坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，确定至少一个路面要素点的坐标之前，对所述至少一个路面要素的候选激光点云点以及所述曲面上的至少一个投影点进行聚类，得到所述至少一个路面要素的候选激光点云点以及所述曲面上的至少一个投影点所属的路面要素。处理单元602可根据第一路面要素所属的至少一个候选激光点云点的坐标以及至少一个候选像素点在所述曲面上的投影点的坐标，确定所述第一路面要素中至少一个路面要素点的坐标；其中，所述第一路面要素为聚类得到的任一路面要素。

在一些实施例中，处理单元602可具体用于：根据所述路面的激光点云中点云点的坐标，生成所述路面所在的网格化曲面；根据所述至少一个路面要素的候选像素点坐标以及所述网格化曲面，确定所述至少一个路面要素的候选像素点在所述网格化曲面中的网格上的投影点坐标。

在一些实施例中，处理单元602还可用于：根据所述至少一个路面要素点的坐标，确定或者输出所述一个或多个路面要素的信息。

在一些实施例中，获取单元601可具体用于：获取来自于至少一个激光雷达的所述路面的激光点云，以及来自至少一个摄像装置的所述路面的图像；所述激光点云中的点云点坐标和所述图像中的像素点坐标属于同一坐标系。

在一些实施例中，所述路面要素包括以下至少一项：车道线、停止线、路面标识、箭头、文字。

此外，本申请实施例还提供一种通信装置，该通信装置可以具有如图7所示的结构，所述通信装置可以是路面要素确定装置，也可以是能够支持路面要素确定装置实现上述方法的芯片或芯片系统。

如图7所示的通信装置700可以包括至少一个处理器702，所述至少一个处理器702用于与存储器耦合，读取并执行所述存储器中的指令以实现本申请实施例提供的方法中路面要素确定装置涉及的步骤。可选的，该通信装置700还可以包括至少一个接口703，用于为所述至少一个处理器提供程序指令或者数据。通信装置700中的接口703，可用于实现上述获取单元601所具有的功能，例如，接口703可用于通信装置700执行如图2或图5所示的方法中获取信息的步骤；处理器702可用于实现上述处理单元602所具有的功能，例如，可用于通信装置700执行如图2或图5所示的方法中确定路面要素的步骤。此外，接口703可用于支持通信装置700进行通信。可选的，通信装置700还可以包括存储器704，其中存储有计算机程序、指令，存储器704可以与处理器702和/或接口703耦合，用于支持处理器702调用存储器704中的计算机程序、指令以实现本申请实施例提供的方法中接收设备涉及的步骤；另外，存储器704还可以用于存储本申请方法实施例所涉及的数据，例如，用于存储支持接口703实现交互所必须的数据、指令，和/或，用于存储通信装置700执行本申请实施例所述方法所必须的配置信息。

基于与上述方法实施例相同构思，本申请实施例还提供了一种计算机可读存储介质，其上存储有一些指令，这些指令被计算机调用执行时，可以使得计算机完成上述方法实施例、方法实施例的任意一种可能的设计中所涉及的方法。本申请实施例中，对计算机可读存储介质不做限定，例如，可以是RAM(random-access memory，随机存取存储器)、ROM(read-only memory，只读存储器)等。

基于与上述方法实施例相同构思，本申请还提供一种计算机程序产品，该计算机程序产品在被计算机调用执行时可以完成方法实施例以及上述方法实施例任意可能的设计中所涉及的方法。

基于与上述方法实施例相同构思，本申请还提供一种芯片，该芯片可以包括处理器以及接口电路，用于完成上述方法实施例、方法实施例的任意一种可能的实现方式中所涉及的方法，其中，“耦合”是指两个部件彼此直接或间接地结合，这种结合可以是固定的或可移动性的，这种结合可以允许流动液、电、电信号或其它类型信号在两个部件之间进行通信。

基于与上述方法实施例相同构思，本申请还提供一种终端，该终端可包含如图6所示的单元，或者如图7所示的至少一个处理器和接口，该终端能够实现本申请实施例提供的路面要素确定方法。可选的，所述终端可以为车载系统，或者自动驾驶或智能驾驶中的车辆、无人机、无人运输车或者机器人等。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列(FPGA)或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于终端设备中。可选地，处理器和存储媒介也可以设置于终端设备中的不同的部件中。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (24)

1.一种路面要素确定方法，其特征在于，包括：

获取路面的激光点云以及所述路面的图像；

提取所述路面的激光点云中至少一个路面要素的候选激光点云点，并根据所述路面的激光点云确定所述路面所在的曲面；

提取所述路面的图像中至少一个路面要素的候选像素点，根据所述至少一个路面要素的候选像素点的坐标以及所述曲面确定所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标；

根据所述至少一个路面要素的候选激光点云点的坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标，确定至少一个路面要素点的坐标，所述至少一个路面要素点对应所述至少一个路面要素中的一个或多个路面要素。

2.如权利要求1所述的方法，其特征在于，所述至少一个路面要素点的坐标为所述路面对应的空间内的至少一个采样空间对应的路面要素点的坐标的集合，其中，第一采样空间为所述至少一个采样空间内的任一采样空间；

所述根据所述至少一个路面要素的候选激光点云点坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，确定至少一个路面要素点的坐标，包括：

确定所述第一采样空间中的至少一个路面要素的候选激光点云点的置信度，和/或，所述第一采样空间中的至少一个路面要素的候选像素点在所述曲面上的投影点的置信度；

根据所述第一采样空间中的至少一个路面要素的候选激光点云点坐标及置信度，和/或，所述第一采样空间中的至少一个路面要素的候选像素点在所述曲面上的投影点坐标及置信度，得到所述第一采样空间对应的路面要素点的坐标；其中，所述第一采样空间内包括至少一个候选激光点云点和/或至少一个投影点。

3.如权利要求2所述的方法，其特征在于，所述第一采样空间对应的路面要素点的坐标满足以下公式：

其中，P_sample表示所述第一采样空间对应的路面要素点的坐标，P_i为候选激光点云点i的坐标，p_i为所述曲面上的投影点i的坐标，C_Li为候选激光点云点i的置信度，C_ci为所述曲面上的投影点i的置信度，n为所述第一采样空间内候选激光点云点的数量，m为所述第一采样空间内所述曲面上的投影点的数量，n和m均为大于或等于1的整数。

4.如权利要求2或3所述的方法，其特征在于，所述至少一个路面要素的候选激光点云点的置信度满足以下公式：

C_Li＝W_L1*D_i+W_L2*I_i

其中，C_Li为候选激光点云点i的置信度，D_i为候选激光点云点i的邻域密度，I_i为候选激光点云点i的邻域相对反射率，W_L1为D_i的置信度权重系数，W_L2为I_i的置信度权重系数。

5.如权利要求2或3所述的方法，其特征在于，所述至少一个路面要素的候选像素点在所述曲面上的投影点的置信度满足以下公式：

C_Ci＝W_C1*c_i+W_C2/L_i

其中，C_Ci为所述曲面上的投影点i的置信度，c_i为所述图像中路面要素的候选像素点i的置信度，L_i为所述投影点i的坐标与所在摄像装置原点的坐标间的距离，W_C1为c_i的置信度权重系数，W_C2为1/L_i的置信度权重系数。

6.如权利要求1-5中任一项所述的方法，其特征在于：

所述根据所述至少一个路面要素的候选激光点云点坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，确定至少一个路面要素点的坐标之前，还包括：

对所述至少一个路面要素的候选激光点云点以及所述曲面上的至少一个投影点进行聚类，得到所述至少一个路面要素的候选激光点云点以及所述曲面上的至少一个投影点所属的路面要素；

所述根据所述至少一个路面要素的候选激光点云点坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，确定至少一个路面要素点的坐标，包括：

根据第一路面要素所属的至少一个候选激光点云点的坐标以及至少一个候选像素点在所述曲面上的投影点的坐标，确定所述第一路面要素中至少一个路面要素点的坐标；其中，所述第一路面要素为聚类得到的任一路面要素。

7.如权利要求1-6中任一项所述的方法，其特征在于：

所述根据所述路面的激光点云确定所述路面所在的曲面，包括：

根据所述路面的激光点云中点云点的坐标，生成所述路面所在的网格化曲面；

所述根据所述至少一个路面要素的候选像素点坐标以及所述曲面确定所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，包括：

根据所述至少一个路面要素的候选像素点坐标以及所述网格化曲面，确定所述至少一个路面要素的候选像素点在所述网格化曲面中的投影点坐标。

8.如权利要求1-7中任一项所述的方法，其特征在于，还包括：

根据所述至少一个路面要素点的坐标，确定或者输出所述一个或多个路面要素的信息。

9.如权利要求1-8中任一项所述的方法，其特征在于，所述获取路面的激光点云以及所述路面的图像，包括：

获取来自于至少一个激光雷达的所述路面的激光点云，以及来自至少一个摄像装置的所述路面的图像；

所述激光点云中的点云点坐标和所述图像中的像素点坐标属于同一坐标系。

10.如权利要求1-9中任一项所述的方法，其特征在于，所述路面要素包括以下至少一项：车道线、停止线、路面标识、箭头、文字。

11.一种路面要素确定装置，其特征在于，包括：

获取单元，用于获取路面的激光点云以及所述路面的图像；

处理单元，用于提取所述路面的激光点云中至少一个路面要素的候选激光点云点，并根据所述路面的激光点云确定所述路面所在的曲面；

所述处理单元还用于提取所述路面的图像中至少一个路面要素的候选像素点，根据所述至少一个路面要素的候选像素点的坐标以及所述曲面确定所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标；以及，根据所述至少一个路面要素的候选激光点云点的坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点的坐标，确定至少一个路面要素点的坐标，所述至少一个路面要素点对应所述至少一个路面要素中的一个或多个路面要素。

12.如权利要求11所述的装置，其特征在于，所述至少一个路面要素点的坐标为所述路面对应的空间内的至少一个采样空间对应的路面要素点的坐标的集合，其中，第一采样空间为所述至少一个采样空间内的任一采样空间；

所述处理单元，具体用于：

确定所述至少一个路面要素的候选激光点云点的置信度，和/或，所述第一采样空间中的至少一个路面要素的候选像素点在所述曲面上的投影点的置信度；

根据所述第一采样空间中的至少一个路面要素的候选激光点云点坐标及置信度，和/或，所述第一空间中的至少一个路面要素的候选像素点在所述曲面上的投影点坐标及置信度，得到所述第一采样空间对应的路面要素点的坐标；其中，所述第一采样空间内包括至少一个候选激光点云点和/或至少一个投影点。

13.如权利要求12所述的装置，其特征在于，所述第一采样空间对应的路面要素点的坐标满足以下公式：

其中，P_sample表示所述第一采样空间对应的路面要素点的坐标，P_i为候选激光点云点i的坐标，p_i为所述曲面上的投影点i的坐标，C_Li为候选激光点云点i的置信度，C_ci为所述曲面上的投影点i的置信度，n为所述第一采样空间内候选激光点云点的数量，m为所述第一采样空间内所述曲面上的投影点的数量，n和m均为大于或等于1的整数。

14.如权利要求12或13所述的装置，其特征在于，所述至少一个路面要素的候选激光点云点的置信度满足以下公式：

C_Li＝W_L1*D_i+W_L2*I_i

其中，C_Li为候选激光点云点i的置信度，D_i为候选激光点云点i的邻域密度，I_i为候选激光点云点i的邻域相对反射率，W_L1为D_i的置信度权重系数，W_L2为I_i的置信度权重系数。

15.如权利要求12或13所述的装置，其特征在于，所述至少一个路面要素的候选像素点在所述曲面上的投影点的置信度满足以下公式：

C_Ci＝W_C1*c_i+W_C2/L_i

其中，C_Ci为所述曲面上的投影点i的置信度，c_i为所述图像中路面要素的候选像素点i的置信度，L_i为所述投影点i的坐标与摄像装置原点的坐标间的距离，W_C1为c_i的置信度权重系数，W_C2为1/L_i的置信度权重系数。

16.如权利要求11-15中任一项所述的装置，其特征在于，所述处理单元，还用于：

根据所述至少一个路面要素的候选激光点云点坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，确定至少一个路面要素点的坐标之前，对所述至少一个路面要素的候选激光点云点以及所述曲面上的至少一个投影点进行聚类，得到所述至少一个路面要素的候选激光点云点以及所述曲面上的至少一个投影点所属的路面要素；

所述根据所述至少一个路面要素的候选激光点云点坐标以及所述至少一个路面要素的候选像素点在所述曲面上的投影点坐标，确定至少一个路面要素点的坐标，包括：

根据第一路面要素所属的至少一个候选激光点云点的坐标以及至少一个候选像素点在所述曲面上的投影点的坐标，确定所述第一路面要素中至少一个路面要素点的坐标；其中，所述第一路面要素为聚类得到的任一路面要素。

17.如权利要求11-16中任一项所述的装置，其特征在于，所述处理单元，具体用于：

根据所述路面的激光点云中点云点的坐标，生成所述路面所在的网格化曲面；

根据所述至少一个路面要素的候选像素点坐标以及所述网格化曲面，确定所述至少一个路面要素的候选像素点在所述网格化曲面中的投影点坐标。

18.如权利要求11-17中任一项所述的装置，其特征在于，所述处理单元，还用于：

根据所述至少一个路面要素点的坐标，确定或者输出所述一个或多个路面要素的信息。

19.如权利要求11-18中任一项所述的装置，其特征在于，所述获取单元，具体用于：

获取来自于至少一个激光雷达的所述路面的激光点云，以及来自至少一个摄像装置的所述路面的图像；

所述激光点云中的点云点坐标和所述图像中的像素点坐标属于同一坐标系。

20.如权利要求11-19中任一项所述的装置，其特征在于，所述路面要素包括以下至少一项：车道线、停止线、路面标识、箭头、文字。

21.一种路面要素确定装置，其特征在于，包括至少一个处理器和接口；

所述接口，用于为所述至少一个处理器提供程序指令或者数据；

所述至少一个处理器用于执行所述程序行指令，以实现如权利要求1-10中任一所述的方法。

22.一种车载系统，其特征在于，包括如权利要求11-20中任一项所述的装置。

23.如权利要求22所述的车载系统，其特征在于，所述车载系统还包括至少一个激光雷达以及至少一个摄像装置。

24.一种计算机存储介质，其上存储有计算机程序或指令，其特征在于，所述计算机程序或指令被至少一个处理器执行时实现如权利要求1-10中任一所述的方法。

Images