CN117853682A - 基于隐式特征的路面三维重建方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及辅助驾驶技术领域，公开了一种基于隐式特征的路面三维重建方法、装置、设备及介质，该方法包括：根据目标车辆在目标路面上行驶的目标轨迹，确定待三维重建的路面重建范围；将路面重建范围按照预设网格分辨率进行网格化，获得路面重建范围对应的多个路面网格；确定交点一一对应的交点高度以及隐式特征；获取路面图像上每个像素对应的真实颜色值；基于每个交点一一对应的交点高度、隐式特征、真实颜色值训练预设预测模型，获得目标预测模型，其用于根据待重建网格点的隐式特征，输出目标颜色和目标高度，以用于路面三维重建。本发明采用稀疏的网格，学习路面局部的隐式特征，即可以实现任意精度的重建，且对计算机设备显存的要求不高。

Description

基于隐式特征的路面三维重建方法、装置、设备及介质

技术领域

本发明涉及辅助驾驶技术领域，具体涉及一种基于隐式特征的路面三维重建方法、装置、设备及介质。

背景技术

路面三维重建是辅助驾驶技术中重要的研究内容，主要是利用图像处理和计算机视觉技术并结合深度学习算法，在二维路面图像的基础上重建出路面的三维结构。

在进行三维重建的过程中，往往需要将路面表面离散化为一系列小的网格，以进行进一步的处理和分析，而目前的路面三维重建技术，为了提高重建精度，往往会增加网格的密度，但是网格密度越大，对电脑显存要求就越高，同时也会增加计算和存储的负担。

发明内容

有鉴于此，本发明提供了一种基于隐式特征的路面三维重建方法、装置、设备及存储介质，以解决现有技术中在提高路面重建精度的同时对电脑显存要求较高的问题。

第一方面，本发明提供了一种基于隐式特征的路面三维重建方法，方法包括：

根据目标车辆在目标路面上行驶的目标轨迹，确定待三维重建的路面重建范围；其中，目标轨迹由目标车辆在目标路面行驶过程中拍摄的路面图像确定，目标轨迹包括多个轨迹点以及与轨迹点一一对应的路面高度；

将路面重建范围按照预设网格分辨率进行网格化，获得路面重建范围对应的多个路面网格；

基于目标轨迹，确定交点一一对应的交点高度，其中，交点为路面图像中的像素点映射到路面网格上的点；

确定交点一一对应的隐式特征，隐式特征为交点包括的属性或特征；

获取路面图像上每个像素对应的真实颜色值；

基于每个交点一一对应的交点高度、隐式特征、真实颜色值训练预设预测模型，获得训练完成后的目标预测模型，目标预测模型用于根据采集的待重建网格点对应的隐式特征，输出对应的目标颜色和目标高度，目标颜色与目标高度用于路面三维重建。

具体地，通过对局部隐式特征的学习，对路面重建进行稀疏的离散化，通过对重新采集的待重建网格点对应的隐式特征进行解码，可以获得超高精度的稠密的带颜色的3D地图。本实施例中采用稀疏的网格，学习路面局部的隐式特征，即可以实现任意精度的重建，且对计算机设备显存的要求不高。

在一种可选的实施方式中，基于每个交点一一对应的交点高度、隐式特征、真实颜色值训练预设预测模型，包括：

确定当前训练交点，以及与当前训练交点对应的隐式特征、交点高度以及真实颜色值；

将当前训练交点对应的隐式特征输入预设预测模型，获得当前训练交点对应的预测高度以及预测颜色值；

基于当前训练交点对应的预测颜色值以及真实颜色值，计算颜色损失误差值；

基于当前训练交点对应的预测高度以及交点高度，计算高度损失误差值；

基于颜色损失误差值、高度损失误差值、预设损失函数，调整损失权重以计算损失函数值；

当损失函数值未满足预设损失值时，重新确定下一个交点，将下一个交点作为当前训练交点，继续计算损失函数值；

当损失函数值满足预设损失值时，停止迭代。

具体地，通过对局部隐式特征的学习，只需根据需要重建的精度，增加待重建网格点的数量，然后对重新采集的待重建网格点对应的隐式特征进行解码，即可获得对应的目标颜色与目标高度，从而可以获得超高精度的稠密的重建路面，无需基于稠密的网格进行建图，从而降低了对计算机设备显存的要求。

在一种可选的实施方式中，预设损失函数为：

L=loss_rgb + w×loss_z

其中，L为损失函数值、loss_rgb为颜色损失误差值、loss_z为高度损失误差值、w为损失权重。

在一种可选的实施方式中，交点通过以下步骤确定：

获取路面图像对应的相机位姿和相机配置信息；

基于相机位姿、相机配置信息，确定路面图像中每个像素在相机坐标系下的第一方位向量；

将在相机坐标系下的第一方位向量转换至在参考坐标系下的第二方位向量，参考坐标系为目标轨迹对应的坐标系；

基于路面图像中每个像素在参考坐标系下的第二方位向量，计算每个第二方位向量与路面网格的交点。

通过网格与图像像素映射的交点，可以将路面图像中的像素点对应到三维空间中的网格上，从而获取了三维空间中的信息，使得后续分析更加全面和准确。

在一种可选的实施方式中，目标轨迹还包括与轨迹点一一对应的轨迹坐标，根据目标车辆在目标路面上行驶的目标轨迹，确定待三维重建的路面重建范围，包括：

获取目标路面的预设路面宽度；

基于预设路面宽度和目标轨迹中每个轨迹点的轨迹坐标，得到目标路面对应的轨迹点云，以及轨迹点云中每个轨迹点的轨迹坐标；

基于轨迹点云中每个轨迹点的轨迹坐标，确定路面重建范围。

计算机设备可以根据每个轨迹点的坐标，确定出目标路面对应的轨迹点云的轨迹坐标，从而根据轨迹点云中边界的轨迹坐标确定出路面重建范围。这样可以有效优化路面重建范围，提高路面重建的精度。

在一种可选的实施方式中，基于目标轨迹，确定交点一一对应的交点高度，包括：

根据轨迹点云中每个轨迹点的轨迹坐标，确定路面重建范围对应的多个路面网格一一对应的路面网格顶点坐标；

基于目标轨迹中每个轨迹点对应的轨迹坐标，确定相邻的两个轨迹点之间的局部路面范围；

在路面重建范围对应的多个路面网格中选取局部路面范围所涵盖的多个局部网格；

将相邻的两个轨迹点中的目标轨迹点对应的路面高度，确定为该相邻的两个轨迹点对应的多个局部网格的网格高度；其中，目标轨迹点为相邻的两个轨迹点中的第一个轨迹点；

获取交点在路面网格上的交点坐标；

根据交点坐标，确定多个用于三角插值算法的待计算网格顶点坐标，待计算网格顶点坐标从路面网格顶点坐标中选取；

基于待计算网格顶点坐标以及与待计算网格顶点坐标一一对应的网格高度，确定交点的高度。

采用三角插值计算出的交点高度，不仅精度高，稳健性高，而且简单高效。

在一种可选的实施方式中，在确定待计算网格顶点坐标之后，确定交点一一对应的隐式特征，包括：

基于待计算网格顶点坐标以及与待计算网格顶点坐标一一对应的隐式特征，确定交点的隐式特征。

也即是，不仅可以采用三角插值来计算交点高度，还可以用来计算交点的隐式特征，能够提供准确、全面的隐式特征描述，进而可以有效提高路面重建的精度。

第二方面，本发明提供了一种基于隐式特征的路面三维重建装置，装置包括：

路面重建范围确定模块，用于根据目标车辆在目标路面上行驶的目标轨迹，确定待三维重建的路面重建范围；其中，目标轨迹由目标车辆在目标路面行驶过程中拍摄的路面图像确定，目标轨迹包括多个轨迹点以及与轨迹点一一对应的路面高度；

网格化模块，用于将路面重建范围按照预设网格分辨率进行网格化，获得路面重建范围对应的多个路面网格；

交点高度确定模块，用于基于目标轨迹，确定交点一一对应的交点高度，其中，交点为路面图像中的像素点映射到路面网格上的点；

隐式特征确定模块，用于确定交点一一对应的隐式特征，隐式特征为交点包括的属性或特征；

颜色值获取模块，用于获取路面图像上每个像素对应的真实颜色值；

模型预测模块，用于基于每个交点一一对应的交点高度、隐式特征、真实颜色值训练预设预测模型，获得训练完成后的目标预测模型，目标预测模型用于根据采集的待重建网格点对应的隐式特征，输出对应的目标颜色和目标高度，目标颜色与目标高度用于路面三维重建。

第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的基于隐式特征的路面三维重建方法。

第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于隐式特征的路面三维重建方法。

需要说明的是，由于本发明提供的基于隐式特征的路面三维重建装置，电子设备以及计算机可读存储介质与上述的基于隐式特征的路面三维重建方法是对应的。因此，关于基于隐式特征的路面三维重建装置，计算机设备以及计算机可读存储介质的有益效果，请参见上文基于隐式特征的路面三维重建方法的对应有益效果的描述，在此不再赘述。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于隐式特征的路面三维重建方法的流程示意图；

图2是根据本发明实施例的训练预设预测模型的方法的流程示意图；

图3是根据本发明实施例的基于隐式特征的路面三维重建装置的结构框图；

图4是本发明实施例的计算机设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在进行三维重建的过程中，若采用稀疏点云进行重建，会严重影响数据标注的精度，建图的精度依赖于离散化的密度，但是密度越大，对电脑显存要求太高，无法实现高精度的重建。

鉴于此，根据本发明实施例，提供了一种基于隐式特征的路面三维重建方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种基于隐式特征的路面三维重建方法，可由服务器、终端等计算机设备来执行，可以是台式电脑、移动电脑等，图1是根据本发明实施例的基于隐式特征的路面三维重建方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，根据目标车辆在目标路面上行驶的目标轨迹，确定待三维重建的路面重建范围；其中，目标轨迹由目标车辆在目标路面行驶过程中拍摄的路面图像确定，目标轨迹包括多个轨迹点以及与轨迹点一一对应的路面高度。

目标路面可以为目标车辆所行驶的路面，在目标车辆行驶过程中不断采集路面图像，该图像中可以包括路面，也可以包括路边的景象等。可以根据拍摄的多帧路面图像，来确定目标车辆的目标轨迹，也即是目标车辆行驶的轨迹，具体地，可以将获取的多帧路面图像输入到计算机设备预存的轨迹生成算法中，从而得到目标轨迹。例如，轨迹生成算法可以是即时定位与地图构建（Simultaneous Localiza tion and Mapping，SLAM）算法等。

进一步地，还可以获取目标轨迹中与轨迹点一一对应的路面高度，该路面高度可以是由获取的路面图像，通过图像处理技术，如根据计算像素的灰度值或颜色值等进行路面特征提取来确定。当然路面高度也可以利用车载激光雷达、惯性测量单元等设备测量分析获得。

另外，计算机设备还可以根据目标轨迹中轨迹点的最小y坐标值和最大y坐标值，确定y方向的重建范围，并根据预设路面宽度和每个轨迹点的x坐标值，确定x方向的重建范围，进一步，可以根据x方向的重建范围和y方向的重建范围，确定路面重建范围。例如，路面重建范围可以是[x_min，x_max]和[y_min,y_max]所覆盖的范围。

步骤S102，将路面重建范围按照预设网格分辨率进行网格化，获得路面重建范围对应的多个路面网格。

预设网格分辨率可以由网格的边长确定，例如：预设的网格的边长为1米，则预设网格分辨率可以为1。计算机设备可以根据预设网格分辨率，对路面重建范围对应的三维空间进行网格化，得到路面重建范围对应的多个路面网格。例如，路面重建范围对应的多个网格的数量可以是int（（x_max-x_min）/1)×int（（y_max-y_min）/1)。在网格化后，可以先将网格的初始高度全部设为0，则此时每个网格顶点的空间坐标位置为（x,y,z）,其中z=0。

步骤S103，基于目标轨迹，确定交点一一对应的交点高度，其中，交点为路面图像中的像素点映射到路面网格上的点。

具体地，可以通过相机的外参和车体的轨迹，获得相机到世界坐标系的变换。根据相机内参获得地面（地面通过图片的二值分割获得）每个像素对应的方位向量，并将方位向量转到世界坐标系，沿着方位向量，计算方位向量和路面网格的交点，而交点高度可以根据目标轨迹中轨迹点对应的路面高度进行确定。

步骤S104，确定交点一一对应的隐式特征，隐式特征为交点包括的属性或特征。

在确定了路面图像中的像素点映射到路面网格上的交点之后，就可以根据这些交点在网格中的位置来插值获取该交点对应的隐式特征，隐式特征在本实施例中可以是对路面的一些隐藏属性或特征的表示，这些隐式特征可能是路面的高度、纹理、颜色等。

步骤S105，获取路面图像上每个像素对应的真实颜色值。真实颜色值可以是红绿蓝色彩值（Red Green Blue，RGB），包括红色光色彩值、绿色光色彩值和蓝色光色彩值。

步骤S106，基于每个交点一一对应的交点高度、隐式特征、真实颜色值训练预设预测模型，获得训练完成后的目标预测模型，目标预测模型用于根据采集的待重建网格点对应的隐式特征，输出对应的目标颜色和目标高度，目标颜色与目标高度用于路面三维重建。

预设预测模型可以是计算机设备中预存的深度学习模型，可以是多层感知器网络（Multilayer Perceptron，简称MLP），即MLP解码器，多层感知器由多个神经元层组成，每层之间有权重连接，通过对这些权重和偏差进行训练，可以实现对输入数据的预测。本实施例中，根据交点一一对应的交点高度、隐式特征、真实颜色值训练预设预测模型，获得隐式特征与高度、颜色之间的关联关系。在实施时，只需要在路面网格上进行均匀采点，即采集待重建网格点，并确定出待重建网格点对应的隐式特征，将待重建网格点对应的隐式特征输入到训练好的目标预测模型中，输出预测的目标颜色和目标高度。当需要高精度的重建时，只需要增加待重建网格点采样点的数量，则可以达到更高精度的重建。这样可以在稀疏网格的基础上，实现高精度的重建。

举例说明：假设一个100m×100m的路面，为了生成高精度的三维路面，相关技术中，会设置网格分辨率为0.1m，那么整个显存为1000×1000×6,其中6是网格顶点的参数（三维坐标xyz，颜色rgb）维度；而采用本实施例中提出的基于隐式特征的路面三维重建方法，可以设置1m的网格分辨率，则整个显存为100×100×（32+3），其中，32是网格顶点隐式特征的维度，3是三维空间坐标xyz；与相关技术中的方法相比，本实施例中的方法节省了将近17倍的显存。

在本实施例中提出的一种基于隐式特征的路面三维重建方法，通过对局部隐式特征的学习，对路面重建进行稀疏的离散化，通过对重新采集的待重建网格点对应的隐式特征进行解码，可以获得超高精度的稠密的带颜色的3D地图。本实施例中采用稀疏的网格，学习路面局部的隐式特征，即可以实现任意精度的重建，且对计算机设备显存的要求不高。

需要说明的是，本实施例中提供了网格初始化的过程，即网格的初始化高度为0，是由轨迹点一一对应的路面高度直接确定的，与相关技术相比，该方法更加简单，且获得的与高度相关的数据更加准确。

参照图2所示，在一些可选的实施方式中，基于每个交点一一对应的交点高度、隐式特征、真实颜色值训练预设预测模型，包括：

步骤S1061，确定当前训练交点，以及与当前训练交点对应的隐式特征、交点高度以及真实颜色值。可以从确定的多个交点中选取其中一个交点作为当前训练交点。

步骤S1062，将当前训练交点对应的隐式特征输入预设预测模型，获得当前训练交点对应的预测高度以及预测颜色值。

步骤S1063，基于当前训练交点对应的预测颜色值以及真实颜色值，计算颜色损失误差值。从像素出发，每一个像素在图片上有对应有真实颜色值rgb，构建L1范数或者L2范数的误差：loss_rgb=||pre_rgb - rgb||，其中，pre_rgb为预测颜色值、rgb为真实颜色值、loss_rgb为颜色损失误差值。

步骤S1064，基于当前训练交点对应的预测高度以及交点高度，计算高度损失误差值。

对于高度，首先利用初始高度做约束，限制预测的高度pre_z和初始的高度z'差距不能太大，即loss_z=||pre_z-z'||，其中，pre_z为预测高度、z'为交点高度、loss_z为高度损失误差值。

步骤S1065，基于颜色损失误差值、高度损失误差值、预设损失函数，调整损失权重以计算损失函数值。

在一些可选的实施方式中，预设损失函数为：L=loss_rgb + w×loss_z；

其中，L为损失函数值、loss_rgb为颜色损失误差值、loss_z为高度损失误差值、w为损失权重。

上述步骤S1061至步骤S1065，为计算一个交点的损失函数值的过程。

当损失函数值未满足预设损失值时，重新确定下一个交点，将下一个交点作为当前训练交点，继续计算损失函数值。

当损失函数值满足预设损失值时，停止迭代。

将训练集数据输入到预设预测模型，预设预测模型输出和真实标签之间的损失，然后通过反向传播算法求解损失函数对于模型的权重和偏差的梯度，根据梯度优化算法对参数网格的隐式特征进行更新，通过优化器更新权重和偏差，不断优化模型和损失函数的值，直到损失函数达到预设损失值或者满足一定的停止条件时，停止迭代，即完成对预设预测模型的训练。在实际应用时，将待重建网格点对应的隐式特征输入训练好的目标预测模型进行解码，即可获得预测的目标颜色与目标高度。

本实施例中，通过对局部隐式特征的学习，只需根据需要重建的精度，增加待重建网格点的数量，然后对重新采集的待重建网格点对应的隐式特征进行解码，即可获得对应的目标颜色与目标高度，从而可以获得超高精度的稠密的重建路面，无需基于稠密的网格进行建图，从而降低了对计算机设备显存的要求。

在一些可选的实施方式中，交点通过以下步骤确定：

步骤a1，获取路面图像对应的相机位姿和相机配置信息。相机位姿可以为拍摄对应的路面图像对应的相机外参，可以表示相机拍摄图像时的位置、角度等信息。相机配置信息即相机内参，可以表示相机拍摄图像时焦距、像素间距等信息。

步骤a2，基于相机位姿、相机配置信息，确定路面图像中每个像素在相机坐标系下的第一方位向量。

对于路面图像中的每个像素，可以使用相机配置信息的内参矩阵和相机位姿将路面图像中每个像素的坐标反投影到相机坐标系下得到相应的射线，对于每个反投影得到的射线向量，将其归一化，即可以得到每个像素在相机坐标系下的第一方位向量。

步骤a3，将在相机坐标系下的第一方位向量转换至在参考坐标系下的第二方位向量，参考坐标系为目标轨迹对应的坐标系。

基于路面图像对应的坐标系转换参数，对路面图像中的每个像素在其所属的相机坐标系下的方位向量进行坐标转换，得到路面图像中的每个像素在参考坐标系下的第二方位向量。

步骤a4，基于路面图像中每个像素在参考坐标系下的第二方位向量，计算每个第二方位向量与路面网格的交点。

当计算存在路面图像中的像素在参考坐标系下的第二方位向量与路面重建范围对应的多个路面网格中任一个网格存在交点时，说明该交点对应的像素和该交点所在的网格，对应目标路面的同一个位置。

本实施例中，利用光线追踪的方法，可以根据相机内参获得路面图像中每个像素对应的方位向量，这是通过光线从相机位置出发，经过像素点并指向无穷远处来计算的。接下来，将这些方位向量转换到世界坐标系，即参考坐标系中，这样就代表了从相机到路面每个像素点的方向。进一步地，可以沿着每个方向向量进行投影，直到它与路面网格相交，从而确定出这些方向向量和路面网格的交点，即该方向向量与路面的接触点。获得了交点后，则可以根据它们在网格中的位置来插值获取该交点对应的隐式特征。

本实施例中，通过网格与图像像素映射的交点，可以将路面图像中的像素点对应到三维空间中的网格上，从而获取了三维空间中的信息，使得后续分析更加全面和准确。

在一些可选的实施方式中，上述步骤S101，目标轨迹还包括与轨迹点一一对应的轨迹坐标，根据目标车辆在目标路面上行驶的目标轨迹，确定待三维重建的路面重建范围，包括：

步骤S1011，获取目标路面的预设路面宽度。预设路面宽度可以对目标路面的实际宽度测量后，预估出一个预设路面宽度，用于路面的三维重建。

步骤S1012，基于预设路面宽度和目标轨迹中每个轨迹点的轨迹坐标，得到目标路面对应的轨迹点云，以及轨迹点云中每个轨迹点的轨迹坐标。

步骤S1013，基于轨迹点云中每个轨迹点的轨迹坐标，确定路面重建范围。

计算机设备可以根据以目标轨迹中每个轨迹点的路面坐标为中心，以预设路面宽度为边界，在目标路面的宽度方向上进行撒点，得到目标路面对应的轨迹点云，以及轨迹点云中每个轨迹点的路面坐标。以下进行举例说明：参考坐标系的x轴在目标路面的宽度方向上，y轴在目标路面的延伸方向上。对于每个轨迹点的路面坐标，可以根据预设路面宽度和该轨迹点的x坐标值，得到多个x坐标值，根据这多个x坐标值和该轨迹点的y坐标值，可以得到多个轨迹点云。例如，预设路面宽度为12米，第一个轨迹点的二维坐标为（0，1）、最后一个轨迹点的二维坐标为（0，5），则可以确定轨迹点的两个边界的x坐标值分别为-6和6，则目标路面对应的轨迹点云范围包括（-6，1）、（-6，5）、（6，1）、（6，5）坐标范围内的轨迹点云，根据确定出的轨迹点云范围从而确定路面重建范围。

本实施例中，计算机设备可以根据每个轨迹点的坐标，确定出目标路面对应的轨迹点云的轨迹坐标，从而根据轨迹点云中边界的轨迹坐标确定出路面重建范围。这样可以有效优化路面重建范围，提高路面重建的精度。

在一些可选的实施方式中，上述步骤S103，基于目标轨迹，确定交点一一对应的交点高度，包括：

步骤S1031，根据轨迹点云中每个轨迹点的轨迹坐标，确定路面重建范围对应的多个路面网格一一对应的路面网格顶点坐标。对路面重建范围按照预设网格分辨率进行网格化后，可以根据上述确定的轨迹点云中每个轨迹点的轨迹坐标，来确定网格化后的多个路面网格的路面网格顶点坐标。顶点可以指的是网格四个顶角的坐标，也可以将落入路面网格的轨迹点云的轨迹坐标所在位置作为顶点。

步骤S1032，基于目标轨迹中每个轨迹点对应的轨迹坐标，确定相邻的两个轨迹点之间的局部路面范围。

具体地，例如，预设路面宽度为12米，第一个轨迹点的二维坐标为（0，1）、相邻的第二个轨迹点的二维坐标为（0，2），则可以确定轨迹点的两个边界的x坐标值分别为-6和6，则相邻的两个轨迹点之间的范围包括（-6，1）、（-6，2）、（6，1）、（6，2）坐标范围内的轨迹点云，根据确定出的相邻的两个轨迹点之间的范围，从而确定局部路面范围。

步骤S1033，在路面重建范围对应的多个路面网格中选取局部路面范围所涵盖的多个局部网格。

步骤S1034，将相邻的两个轨迹点中的目标轨迹点对应的路面高度，确定为该相邻的两个轨迹点对应的多个局部网格的网格高度；其中，目标轨迹点为相邻的两个轨迹点中的第一个轨迹点。

举例说明，若第一个轨迹点的三维坐标为（0，1，0.2），相邻的第二轨迹点的三维坐标为（0，1，0.1），其中，0.2、0.1均为高度值，则对应的局部路面范围所涵盖的多个局部网格的高度为第一个轨迹点的高度，即0.2。

步骤S1035，获取交点在路面网格上的交点坐标。其中，交点坐标可以由光线追踪方法确定，即沿着每个方向向量进行投影，直到它与路面网格相交，从而确定出这些方向向量和路面网格的交点，同时，也可以确定出对应的交点坐标。

步骤S1036，根据交点坐标，确定多个用于三角插值算法的待计算网格顶点坐标，待计算网格顶点坐标从路面网格顶点坐标中选取。其中待计算网格顶点坐标为三个，用于建立三个路面网格顶点坐标。

步骤S1037，基于待计算网格顶点坐标以及与待计算网格顶点坐标一一对应的网格高度，确定交点的高度。也即是，根据确定的三个路面网格顶点坐标的高度，来计算交点的高度。

本实施例中，采用三角插值计算出的交点高度，不仅精度高，稳健性高，而且简单高效。

在一些可选的实施方式中，在确定待计算网格顶点坐标之后，确定交点一一对应的隐式特征，包括：

基于待计算网格顶点坐标以及与待计算网格顶点坐标一一对应的隐式特征，确定交点的隐式特征。

本实施例中，不仅可以采用三角插值来计算交点高度，还可以用来计算交点的隐式特征，能够提供准确、全面的隐式特征描述，进而可以有效提高路面重建的精度。

在本实施例中提供了另一种基于隐式特征的路面三维重建方法，可由服务器、终端等计算机设备来执行，该方法包括如下步骤：

步骤S201，根据目标车辆在目标路面上行驶的目标轨迹，确定待三维重建的路面重建范围；其中，目标轨迹由目标车辆在目标路面行驶过程中拍摄的路面图像确定，目标轨迹包括多个轨迹点以及与轨迹点一一对应的路面高度。详细请参见图1所示实施例的步骤S101，在此不再赘述。

步骤S202，将路面重建范围按照预设网格分辨率进行网格化，获得路面重建范围对应的多个路面网格。详细请参见图1所示实施例的步骤S102，在此不再赘述。

步骤S203，基于目标轨迹，确定交点一一对应的交点高度，其中，交点为路面图像中的像素点映射到路面网格上的点。详细请参见图1所示实施例的步骤S103，在此不再赘述。

步骤S204，确定交点一一对应的隐式特征，隐式特征为交点包括的属性或特征。详细请参见图1所示实施例的步骤S104，在此不再赘述。

步骤S205，获取路面图像上每个像素对应的语义信息。本实施例中的语义信息可以包括路面、车道线、行车线、箭头、斑马线等。

步骤S206，基于每个交点一一对应的交点高度、隐式特征、语义信息训练预设预测模型，获得训练完成后的目标预测模型，目标预测模型用于根据采集的待重建网格点对应的隐式特征，输出对应的目标语义和目标高度，目标语义与目标高度用于路面三维重建。

本实施例与图1所示实施例的区别在于利用语义信息进行路面的三维重建，其中基于颜色值与基于语义信息的预测即重建方法相同，在此不在赘述。

在本实施例中提出的一种基于隐式特征的路面三维重建方法，通过对局部隐式特征的学习，对路面重建进行稀疏的离散化，通过对重新采集的待重建网格点对应的隐式特征进行解码，可以获得超高精度的稠密的3D地图。本实施例中采用稀疏的网格，学习路面局部的隐式特征，即可以实现任意精度的重建，且对计算机设备显存的要求不高。

在本实施例中还提供了一种基于隐式特征的路面三维重建装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种基于隐式特征的路面三维重建装置，如图3所示，包括：

路面重建范围确定模块301，用于根据目标车辆在目标路面上行驶的目标轨迹，确定待三维重建的路面重建范围；其中，目标轨迹由目标车辆在目标路面行驶过程中拍摄的路面图像确定，目标轨迹包括多个轨迹点以及与轨迹点一一对应的路面高度；

网格化模块302，用于将路面重建范围按照预设网格分辨率进行网格化，获得路面重建范围对应的多个路面网格；

交点高度确定模块303，用于基于目标轨迹，确定交点一一对应的交点高度，其中，交点为路面图像中的像素点映射到路面网格上的点；

隐式特征确定模块304，用于确定交点一一对应的隐式特征，隐式特征为交点包括的属性或特征；

颜色值获取模块305，用于获取路面图像上每个像素对应的真实颜色值；

模型预测模块306，用于基于每个交点一一对应的交点高度、隐式特征、真实颜色值训练预设预测模型，获得训练完成后的目标预测模型，目标预测模型用于根据采集的待重建网格点对应的隐式特征，输出对应的目标颜色和目标高度，目标颜色与目标高度用于路面三维重建。

在一些可选的实施方式中，模型预测模块306，包括：

交点确定单元，用于确定当前训练交点，以及与当前训练交点对应的隐式特征、交点高度以及真实颜色值；

预测单元，用于将当前训练交点对应的隐式特征输入预设预测模型，获得当前训练交点对应的预测高度以及预测颜色值；

颜色损失误差值计算单元，用于基于当前训练交点对应的预测颜色值以及真实颜色值，计算颜色损失误差值；

高度损失误差值计算单元，用于基于当前训练交点对应的预测高度以及交点高度，计算高度损失误差值；

损失函数值计算单元，用于基于颜色损失误差值、高度损失误差值、预设损失函数，调整损失权重以计算损失函数值；

循环单元，用于当损失函数值未满足预设损失值时，重新确定下一个交点，将下一个交点作为当前训练交点，继续计算损失函数值；

停止单元，用于当损失函数值满足预设损失值时，停止迭代。

在一些可选的实施方式中，装置还包括：

相机信息获取模块，用于获取路面图像对应的相机位姿和相机配置信息；

第一方位向量确定模块，用于基于相机位姿、相机配置信息，确定路面图像中每个像素在相机坐标系下的第一方位向量；

转换模块，用于将在相机坐标系下的第一方位向量转换至在参考坐标系下的第二方位向量，参考坐标系为目标轨迹对应的坐标系；

交点计算模块，用于基于路面图像中每个像素在参考坐标系下的第二方位向量，计算每个第二方位向量与路面网格的交点。

在一些可选的实施方式中，路面重建范围确定模块301，包括：

路面宽度获取单元，用于获取目标路面的预设路面宽度；

轨迹点云确定单元，用于基于预设路面宽度和目标轨迹中每个轨迹点的轨迹坐标，得到目标路面对应的轨迹点云，以及轨迹点云中每个轨迹点的轨迹坐标；

路面重建范围确定单元，用于基于轨迹点云中每个轨迹点的轨迹坐标，确定路面重建范围。

在一些可选的实施方式中，交点高度确定模块303，包括：

路面网格顶点坐标确定单元，用于根据轨迹点云中每个轨迹点的轨迹坐标，确定路面重建范围对应的多个路面网格一一对应的路面网格顶点坐标；

局部路面范围确定单元，用于基于目标轨迹中每个轨迹点对应的轨迹坐标，确定相邻的两个轨迹点之间的局部路面范围；

局部网格确定单元，用于在路面重建范围对应的多个路面网格中选取局部路面范围所涵盖的多个局部网格；

局部网格高度确定单元，用于将相邻的两个轨迹点中的目标轨迹点对应的路面高度，确定为该相邻的两个轨迹点对应的多个局部网格的网格高度；其中，目标轨迹点为相邻的两个轨迹点中的第一个轨迹点；

交点坐标获取单元，用于获取交点在路面网格上的交点坐标；

网格顶点坐标计算单元，用于根据交点坐标，确定多个用于三角插值算法的待计算网格顶点坐标，待计算网格顶点坐标从路面网格顶点坐标中选取；

交点高度确定单元，用于基于待计算网格顶点坐标以及与待计算网格顶点坐标一一对应的网格高度，确定交点的高度。

交点隐式特征确定单元，用于基于待计算网格顶点坐标以及与待计算网格顶点坐标一一对应的隐式特征，确定交点的隐式特征。

本实施例中的基于隐式特征的路面三维重建装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例还提供一种计算机设备，具有上述图3所示的基于隐式特征的路面三维重建装置。

请参阅图4，图4是本发明可选实施例提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器10为例。

处理器10可以是中央处理器，网格处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。

其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网格连接至该计算机设备。上述网格的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。

该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网格通信。

本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网格下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于隐式特征的路面三维重建方法，其特征在于，所述方法包括：

根据目标车辆在目标路面上行驶的目标轨迹，确定待三维重建的路面重建范围；其中，所述目标轨迹由目标车辆在目标路面行驶过程中拍摄的路面图像确定，所述目标轨迹包括多个轨迹点以及与所述轨迹点一一对应的路面高度；

将所述路面重建范围按照预设网格分辨率进行网格化，获得所述路面重建范围对应的多个路面网格；

基于所述目标轨迹，确定交点一一对应的交点高度，其中，所述交点为所述路面图像中的像素点映射到所述路面网格上的点；

确定所述交点一一对应的隐式特征，所述隐式特征为所述交点包括的属性或特征；

获取所述路面图像上每个像素对应的真实颜色值；

基于每个所述交点一一对应的所述交点高度、所述隐式特征、所述真实颜色值训练预设预测模型，获得训练完成后的目标预测模型，所述目标预测模型用于根据采集的待重建网格点对应的所述隐式特征，输出对应的目标颜色和目标高度，所述目标颜色与目标高度用于路面三维重建。

2.根据权利要求1所述的方法，其特征在于，所述基于每个所述交点一一对应的所述交点高度、所述隐式特征、所述真实颜色值训练预设预测模型，包括：

确定当前训练交点，以及与所述当前训练交点对应的所述隐式特征、所述交点高度以及所述真实颜色值；

将所述当前训练交点对应的所述隐式特征输入所述预设预测模型，获得所述当前训练交点对应的预测高度以及预测颜色值；

基于所述当前训练交点对应的预测颜色值以及所述真实颜色值，计算颜色损失误差值；

基于所述当前训练交点对应的所述预测高度以及所述交点高度，计算高度损失误差值；

基于所述颜色损失误差值、所述高度损失误差值、预设损失函数，调整损失权重以计算损失函数值；

当所述损失函数值未满足预设损失值时，重新确定下一个交点，将所述下一个交点作为所述当前训练交点，继续计算所述损失函数值；

当所述损失函数值满足预设损失值时，停止迭代。

3.根据权利要求2所述的方法，其特征在于，所述预设损失函数为：

L=loss_rgb + w×loss_z

其中，L为所述损失函数值、loss_rgb为所述颜色损失误差值、loss_z为所述高度损失误差值、w为所述损失权重。

4.根据权利要求1所述的方法，其特征在于，所述交点通过以下步骤确定：

获取所述路面图像对应的相机位姿和相机配置信息；

基于所述相机位姿、所述相机配置信息，确定所述路面图像中每个像素在相机坐标系下的第一方位向量；

将在相机坐标系下的所述第一方位向量转换至在参考坐标系下的第二方位向量，所述参考坐标系为所述目标轨迹对应的坐标系；

基于所述路面图像中每个像素在参考坐标系下的所述第二方位向量，计算每个所述第二方位向量与所述路面网格的交点。

5.根据权利要求1所述的方法，其特征在于，所述目标轨迹还包括与所述轨迹点一一对应的轨迹坐标，所述根据目标车辆在目标路面上行驶的目标轨迹，确定待三维重建的路面重建范围，包括：

获取目标路面的预设路面宽度；

基于所述预设路面宽度和所述目标轨迹中每个轨迹点的所述轨迹坐标，得到所述目标路面对应的轨迹点云，以及所述轨迹点云中每个轨迹点的所述轨迹坐标；

基于所述轨迹点云中每个轨迹点的所述轨迹坐标，确定所述路面重建范围。

6.根据权利要求5所述的方法，其特征在于，所述基于所述目标轨迹，确定交点一一对应的交点高度，包括：

根据所述轨迹点云中每个轨迹点的所述轨迹坐标，确定所述路面重建范围对应的多个路面网格一一对应的路面网格顶点坐标；

基于所述目标轨迹中每个轨迹点对应的所述轨迹坐标，确定相邻的两个所述轨迹点之间的局部路面范围；

在所述路面重建范围对应的多个路面网格中选取所述局部路面范围所涵盖的多个局部网格；

将相邻的两个所述轨迹点中的目标轨迹点对应的路面高度，确定为该相邻的两个所述轨迹点对应的多个局部网格的网格高度；其中，所述目标轨迹点为相邻的两个所述轨迹点中的第一个轨迹点；

获取所述交点在所述路面网格上的交点坐标；

根据所述交点坐标，确定多个用于三角插值算法的待计算网格顶点坐标，所述待计算网格顶点坐标从所述路面网格顶点坐标中选取；

基于所述待计算网格顶点坐标以及与待计算网格顶点坐标一一对应的网格高度，确定所述交点的高度。

7.根据权利要求6所述的方法，其特征在于，在确定待计算网格顶点坐标之后，所述确定所述交点一一对应的隐式特征，包括：

基于所述待计算网格顶点坐标以及与待计算网格顶点坐标一一对应的隐式特征，确定所述交点的隐式特征。

8.一种基于隐式特征的路面三维重建装置，其特征在于，所述装置包括：

路面重建范围确定模块，用于根据目标车辆在目标路面上行驶的目标轨迹，确定待三维重建的路面重建范围；其中，所述目标轨迹由目标车辆在目标路面行驶过程中拍摄的路面图像确定，所述目标轨迹包括多个轨迹点以及与所述轨迹点一一对应的路面高度；

网格化模块，用于将所述路面重建范围按照预设网格分辨率进行网格化，获得所述路面重建范围对应的多个路面网格；

交点高度确定模块，用于基于所述目标轨迹，确定交点一一对应的交点高度，其中，所述交点为所述路面图像中的像素点映射到所述路面网格上的点；

隐式特征确定模块，用于确定所述交点一一对应的隐式特征，所述隐式特征为所述交点包括的属性或特征；

颜色值获取模块，用于获取所述路面图像上每个像素对应的真实颜色值；

模型预测模块，用于基于每个所述交点一一对应的所述交点高度、所述隐式特征、所述真实颜色值训练预设预测模型，获得训练完成后的目标预测模型，所述目标预测模型用于根据采集的待重建网格点对应的所述隐式特征，输出对应的目标颜色和目标高度，所述目标颜色与目标高度用于路面三维重建。

9.一种计算机设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7任一项所述的基于隐式特征的路面三维重建方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任一项所述的基于隐式特征的路面三维重建方法。