CN117689784A - 三维路面的着色方法、装置、存储介质、电子设备及车辆 - Google Patents

Abstract

本申请公开一种三维路面的着色方法、装置、存储介质、电子设备及车辆，能够解决生成道路边缘线耗时且不准确的问题。方法包括：根据预设间距和三维路面的曲面参数，对三维路面进行还原操作，生成第一三维路面点云；根据每帧道路图像在第一三维路面点云中的位姿，确定道路图像对应的第二三维路面点云，第二三维路面点云包括在第一三维路面点云中，与道路图像的位姿相距小于或者等于预设距离的三维路面点；将第二三维路面点云投影到对应的道路图像，获得道路图像中的投影点云；将目标投影点所对应的第一三维路面点云中的目标三维路面点着色成目标颜色，突出显示三维路面的道路边缘，目标投影点包括每帧道路图像的投影点云中位于目标区域内的投影点。

Description

三维路面的着色方法、装置、存储介质、电子设备及车辆

技术领域

本申请涉及汽车技术领域，具体而言，涉及一种三维路面的着色方法、装置、存储介质、电子设备及车辆。

背景技术

电子地图是利用计算机技术，以数字方式存储和查阅的地图。人们在步行、骑行或者驾驶时，均可以通过查阅电子地图来获取去往目的地的路线，并且还可以通过开启智能导航功能实时导航。为了提高用户体验以及提高电子地图查询的准确度，已逐渐从二维电子地图发展为三维电子地图。生成三维电子地图最关键的环节之一就是生成三维路面。相关技术中，主要依靠激光雷达采集雷达点云生成三维路面。并且在基于该三维路面对停止线、人行道、导流带等路面要素进行质量检查和修正时，为了提高准确性和效率，可以在三维路面中生成道路边缘线作为参考线。

相关技术中生成道路边缘线的方法主要包括：获取基于采集车的激光雷达采集雷达点云时，采集车的相机采集的每帧道路图像；感知每帧道路图像中的道路边缘线；基于每帧道路图像中道路边缘线上一个像素点的对地参数向三维路面投影获得投影点，并以该投影点为中心，以该道路图像的对地参数为法向量，拟合包含该投影点的平面；将该像素点投射到对应的平面上，与平面的交点即为三维路面中道路边缘线的点。然而，当三维路面的部分曲面存在坡度，而拟合的平面没有坡度时，直接将该交点作为道路边缘线的点就会导致不准确。为了提高准确率，可以基于该交点寻找附近的曲面，逐渐迭代到正确的位置上，但是这种盲目迭代方式不仅耗时，还有可能找不到正确的曲面。

发明内容

本申请提供了一种三维路面的着色方法、装置、存储介质、电子设备及车辆，能够解决生成道路边缘线耗时且不准确的问题。

具体的技术方案如下：

第一方面，本申请实施例提供了一种三维路面的着色方法，所述方法包括：

根据预设间距和三维路面的曲面参数，对所述三维路面进行还原操作，生成第一三维路面点云，其中，所述三维路面为基于原始雷达点云拟合而成的未着色的三维路面；

根据每帧道路图像在所述第一三维路面点云中的位姿，确定所述道路图像对应的第二三维路面点云，其中，所述道路图像为采集车的激光雷达采集所述原始雷达点云时，所述采集车的相机采集的道路图像，所述第二三维路面点云包括在所述第一三维路面点云中，与所述道路图像的所述位姿相距小于或者等于预设距离的三维路面点；

将所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的投影点云；

将目标投影点所对应的所述第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示所述三维路面的道路边缘，其中，所述目标投影点包括每帧所述道路图像的所述投影点云中位于目标区域内的投影点，所述目标区域包括与所述道路图像中感知的静态道路边缘线横坐标相同且纵坐标之差在预设差异范围内的像素点所构成的区域，所述目标三维路面点包括与所述目标投影点具有直接映射关系的三维路面点，或者在将与所述目标投影点具有直接映射关系的三维路面点的高程调高预设高度后获得的三维路面点。

通过上述方案可知，本申请实施例在将未着色的三维路面还原成第一三维路面点云之后，可以将道路图像附近的第二三维路面点云投影到该道路图像中获得投影点云，并且直接将投影点云中位于目标区域内的目标投影点所对应的第一三维路面点云中的目标三维路面点着色成目标颜色，其中，目标区域包括与道路图像中感知的静态道路边缘线横坐标相同且纵坐标之差在预设差异范围内的像素点所构成的区域，目标三维路面点包括与目标投影点具有直接映射关系的三维路面点或者将这些三维路面点的高程调高后获得的三维路点。由此可知，由于本申请实施例是三维路面中的第二三维路面点云直接向二维的道路图像进行投影，且利用道路图像中感知的道路边缘线及其附近的投影点与三维路面点的映射关系，直接确定道路边缘线的三维路面点，并对其进行着色，所以本申请实施例无需构建平面，不涉及平面与三维路面坡度不一致的问题，从而无需迭代寻找附近曲面，进而既可以提高道路边缘线的生成效率，又可以提高准确率。

在第一方面的第一种可能的实现方式中，在所述将所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的投影点云之前，所述方法还包括：

将所述第二三维路面点云从站心坐标系转换到相机坐标系；

过滤所述相机坐标系下所述第二三维路面点云中的无效三维路面点，其中，所述无效三维路面点包括高程在目标高程范围外的三维路面点、前向坐标小于或者等于0的三维路面点；

所述将所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的投影点云，包括：

将所述相机坐标系下过滤后的所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的所述投影点云。

通过上述方案可知，本申请实施例通过滤掉高程在目标高程范围外的三维路面点，可以去除桥上桥下或者上下分层的路段，从而使得获得的投影点云更加准确，通过过滤掉前向坐标小于或者等于0的三维路面点，可以过滤掉位于相机拍摄视野以外的三维路面点，从而可以降低相机坐标系向图像坐标系转换的数据量，提高道路边缘的生成效率。

在第一方面的第二种可能的实现方式中，在所述将目标投影点所对应的所述第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示所述三维路面的道路边缘之前，所述方法还包括：

过滤所述投影点云中的无效投影点，其中，所述无效投影点包括位于图像坐标系以外的投影点、位于所述采集车的车盖线下方的投影点、位于所述静态道路边缘线上方的投影点以及位于动态道路边缘线上方的投影点。

通过上述方案可知，本申请实施例通过过滤掉可行驶区域以外的投影点(即无效投影点)，可以提高投影点云的准确性，从而不仅可以提高生成道路边缘的准确性，还可以提高后续生成彩色路面或语义分割路面的准确性。

在第一方面的第三种可能的实现方式中，所述将目标投影点所对应的所述第一三维路面点云中的目标三维路面点着色成目标颜色，包括：

将所述第一三维路面点云中满足预设条件的三维路面点确定为所述目标三维路面点，并将所述目标三维路面点着色成所述目标颜色；

其中，所述预设条件包括如下任意一项：

所述第一三维路面点云中与所述目标投影点具有直接映射关系的三维路面点；

在将所述具有直接映射关系的三维路面点的高程调高所述预设高度后，获得的三维路面点；

在基于可行驶区域点云对所述具有直接映射关系的三维路面点进行过滤后的三维路面点，所述可行驶区域点云包括过滤后的所述投影点云中，位于由所述车盖线、所述静态道路边缘线和动态道路边缘线所围成的区域内的投影点对应的第一三维路面点云中的三维路面点；

在基于所述可行驶区域点云对所述具有直接映射关系的三维路面点进行过滤后，对剩余的三维路面点的高程调高所述预设高度后获得的三维路面点。

通过上述方案可知，本申请实施例将高程调高可以避免绘制的道路边缘遮挡原本的路面地标，通过可行驶区域点云过可以过滤掉道路内的三维路面点，从而提高道路边缘的准确率和展示效果。

在第一方面的第四种可能的实现方式中，在所述过滤所述相机坐标系下所述第二三维路面点云中的无效三维路面点之后，所述方法还包括：

根据所述相机坐标系下过滤后的所述第二三维路面点云中每个待处理的三维路面点的目标距离，计算所述待处理的三维路面点对应的权重值，其中，所述目标距离为所述待处理的三维路面点的横向坐标与前向坐标之间的目标距离，所述目标距离与所述权重值呈负相关关系；

在所述过滤所述投影点云中的无效投影点之后，所述方法还包括：

在只有一个有效投影点对应所述第一三维路面点云中的一个三维路面点的情况下，将所述有效投影点对应的所述第一三维路面点云中的三维路面点着色成所述有效投影点的颜色值，其中，所述有效投影点为过滤后的所述投影点云中包含的投影点；

在存在多个有效投影点对应所述第一三维路面点云中的同一个三维路面点的情况下，对所述多个有效投影点的所述颜色值和所述权重值进行加权计算，并将所述多个有效投影点对应的三维路面点着色成加权后的颜色值，其中，所述多个有效投影点中每个所述有效投影点分别位于不同所述道路图像中。

通过上述方案可知，本申请实施例可以通过对有效投影点对应的第一三维路面点云中的三维路面点进行着色，可以实现对三维路面的着色，如当道路图像是彩色图像时，可以得到彩色路面，当道路图像是语义分割图像时，可以得到语义分割路面。并且在对三维路面进行着色时，还可以根据距离信息确定的权重值进行加权计算，从而提高了对三维路面着色的准确性。

第二方面，本申请实施例提供了一种三维路面的着色装置，所述装置包括：

还原单元，用于根据预设间距和三维路面的曲面参数，对所述三维路面进行还原操作，生成第一三维路面点云，其中，所述三维路面为基于原始雷达点云拟合而成的未着色的三维路面；

确定单元，用于根据每帧道路图像在所述第一三维路面点云中的位姿，确定所述道路图像对应的第二三维路面点云，其中，所述道路图像为采集车的激光雷达采集所述原始雷达点云时，所述采集车的相机采集的道路图像，所述第二三维路面点云包括在所述第一三维路面点云中，与所述道路图像的所述位姿相距小于或者等于预设距离的三维路面点；

投影单元，用于将所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的投影点云；

着色单元，用于将目标投影点所对应的所述第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示所述三维路面的道路边缘，其中，所述目标投影点包括每帧所述道路图像的所述投影点云中位于目标区域内的投影点，所述目标区域包括与所述道路图像中感知的静态道路边缘线横坐标相同且纵坐标之差在预设差异范围内的像素点所构成的区域，所述目标三维路面点包括与所述目标投影点具有直接映射关系的三维路面点，或者在将与所述目标投影点具有直接映射关系的三维路面点的高程调高预设高度后获得的三维路面点。

在第二方面的第一种可能的实现方式中，所述装置还包括：

坐标系转换单元，用于在所述将所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的投影点云之前，将所述第二三维路面点云从站心坐标系转换到相机坐标系；

第一过滤单元，用于过滤所述相机坐标系下所述第二三维路面点云中的无效三维路面点，其中，所述无效三维路面点包括高程在目标高程范围外的三维路面点、前向坐标小于或者等于0的三维路面点；

所述投影单元，用于将所述相机坐标系下过滤后的所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的所述投影点云。

在第二方面的第二种可能的实现方式中，所述装置还包括：

第二过滤单元，用于在所述将目标投影点所对应的所述第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示所述三维路面的道路边缘之前，过滤所述投影点云中的无效投影点，其中，所述无效投影点包括位于图像坐标系以外的投影点、位于所述采集车的车盖线下方的投影点、位于所述静态道路边缘线上方的投影点以及位于动态道路边缘线上方的投影点。

在第二方面的第三种可能的实现方式中，所述着色单元，用于将所述第一三维路面点云中满足预设条件的三维路面点确定为所述目标三维路面点，并将所述目标三维路面点着色成所述目标颜色；

其中，所述预设条件包括如下任意一项：

所述第一三维路面点云中与所述目标投影点具有直接映射关系的三维路面点；

在将所述具有直接映射关系的三维路面点的高程调高所述预设高度后，获得的三维路面点；

在基于可行驶区域点云对所述具有直接映射关系的三维路面点进行过滤后的三维路面点，所述可行驶区域点云包括过滤后的所述投影点云中，位于由所述车盖线、所述静态道路边缘线和动态道路边缘线所围成的区域内的投影点对应的第一三维路面点云中的三维路面点；

在基于所述可行驶区域点云对所述具有直接映射关系的三维路面点进行过滤后，对剩余的三维路面点的高程调高所述预设高度后获得的三维路面点。

在第二方面的第四种可能的实现方式中，所述装置还包括：

计算单元，用于在所述过滤所述相机坐标系下所述第二三维路面点云中的无效三维路面点之后，根据所述相机坐标系下过滤后的所述第二三维路面点云中每个待处理的三维路面点的目标距离，计算所述待处理的三维路面点对应的权重值，其中，所述目标距离为所述待处理的三维路面点的横向坐标与前向坐标之间的目标距离，所述目标距离与所述权重值呈负相关关系；

所述着色单元，还用于在所述过滤所述投影点云中的无效投影点之后，在只有一个有效投影点对应所述第一三维路面点云中的一个三维路面点的情况下，将所述有效投影点对应的所述第一三维路面点云中的三维路面点着色成所述有效投影点的颜色值，其中，所述有效投影点为过滤后的所述投影点云中包含的投影点；在存在多个有效投影点对应所述第一三维路面点云中的同一个三维路面点的情况下，对所述多个有效投影点的所述颜色值和所述权重值进行加权计算，并将所述多个有效投影点对应的三维路面点着色成加权后的颜色值，其中，所述多个有效投影点中每个所述有效投影点分别位于不同所述道路图像中。

本申请实施例提供的三维路面的着色装置，在将未着色的三维路面还原成第一三维路面点云之后，可以将道路图像附近的第二三维路面点云投影到该道路图像中获得投影点云，并且直接将投影点云中位于目标区域内的目标投影点所对应的第一三维路面点云中的目标三维路面点着色成目标颜色，其中，目标区域包括与道路图像中感知的静态道路边缘线横坐标相同且纵坐标之差在预设差异范围内的像素点所构成的区域，目标三维路面点包括与目标投影点具有直接映射关系的三维路面点或者将这些三维路面点的高程调高后获得的三维路点。由此可知，由于本申请实施例是三维路面中的第二三维路面点云直接向二维的道路图像进行投影，且利用道路图像中感知的道路边缘线及其附近的投影点与三维路面点的映射关系，直接确定道路边缘线的三维路面点，并对其进行着色，所以本申请实施例无需构建平面，不涉及平面与三维路面坡度不一致的问题，从而无需迭代寻找附近曲面，进而既可以提高道路边缘线的生成效率，又可以提高准确率。

第三方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一可能的实现方式所述的方法。

第四方面，本申请实施例提供了一种电子设备，电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行，使得电子设备实现如第一方面任一可能的实现方式所述的方法。

第五方面，本申请实施例提供了一种车辆，车辆包含如第二方面任一可能的实现方式所述的装置，或者包含如第四方面所述的电子设备。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种三维路面的着色方法的流程示意图；

图2为本申请实施例提供的坐标系的示意图；

图3为本申请实施例提供的一种无效投影点和有效投影点的示例图；

图4为本申请实施例提供的一种三维路面的着色装置的组成框图；

图5为本申请实施例提供的一种车辆的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本申请实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

图1为一种三维路面的着色方法的流程示意图，该方法可以应用于电子设备或计算机设备，具体可以应用于车辆或者服务器，该方法可以包括如下步骤：

S110：根据预设间距和三维路面的曲面参数，对三维路面进行还原操作，生成第一三维路面点云。

其中，三维路面为基于原始雷达点云拟合而成的未着色的三维路面。本申请实施例对基于原始雷达点云生成三维路面的方法不做限制，例如，可以先从原始雷达点云筛选出关于路面的雷达点云，再对筛选出的雷达点云进行水平面方向拟合，最后进行竖直方向拟合，生成三维道路曲面作为三维路面。

第一三维路面点云中相邻三维路面点的间距为预设间距，预设间距可以为与原始雷达点云的间距相同，也可以不同，例如可以为0.5m。三维路面和第一三维路面点云均可以在站心坐标系(东-北-天坐标系ENU)下，也可以由世界坐标系转换到站心坐标系下。

S120：根据每帧道路图像在第一三维路面点云中的位姿，确定道路图像对应的第二三维路面点云。

其中，道路图像为采集车的激光雷达采集原始雷达点云时，采集车的相机采集的道路图像。道路图像可以是经过采集车多趟采集和/或经过抽稀过的，并保留合理数据量。本申请实施例对相机在采集车上的安装角度及安装位置不做限定。第二三维路面点云包括在第一三维路面点云中，与道路图像的位姿相距小于或者等于预设距离的三维路面点。位姿包括位置和姿势。预设距离可以根据最终生成的道路边缘精度确定。例如，当预设距离为25m时，道路图像对应的第二三维路面点云可以为以道路图像的中心点为中心，以25m为半径，所限定的圆形区域内的第二三维路面点云。

需要补充的是，为了提高道路边缘的生成效率，本申请实施例还可以先将第一三维路面点云划分成多个区域块，再并行对多个区域块执行步骤“根据每帧道路图像在区域块中的位姿，确定道路图像对应的第二三维路面点云”，以及后续步骤。其中，分块原则可以为：遍历第一三维路面点云，当遍历到的点云数量达到上限时，停止遍历，并遍历到的点云确定为同一个区域块，之后再继续对未遍历的第一三维路面点云采用该方法进行遍历，直至遍历完毕第一三维路面点云中所有三维路面点。

S130：将第二三维路面点云投影到对应的道路图像，获得道路图像中的投影点云。

本步骤可以先将第二三维路面点云从站心坐标系转换到相机坐标系，再从相机坐标系转换到图像坐标系，从而实现第二三维路面点云向道路图像的投影，获得道路图像中的投影点云。

S140：将目标投影点所对应的第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示三维路面的道路边缘。

其中，目标投影点包括每帧道路图像的投影点云中位于目标区域内的投影点，目标区域包括与道路图像中感知的静态道路边缘线横坐标相同且纵坐标之差在预设差异范围内的像素点所构成的区域。静态道路边缘线包括道路围栏等用于区分道路与非道路的固定分界线，而动态道路边缘线为采集车前方车辆尾部边缘，因此动态道路边缘线可能有，也可能没有。预设差异范围可以根据最终生成的道路边缘精度确定，例如可以为5个像素点。目标颜色包括除了路面颜色以外的其他颜色，尤其与路面颜色差异较大的颜色，例如，可以为红色、绿色等。感知静态道路边缘线、动态道路边缘线下述实施例中提及车盖线的方法可以为：预先对大量历史道路图像对这三种线中至少一种进行标注，再利用包含标注信息的历史道路图像进行模型训练，获得目标检测模型，最后利用目标检测模型检测待感知的道路图像中的线条。其中，目标检测模型可以为CNN(Convolutional Neural Network，卷积神经网络)模型。

目标三维路面点包括与目标投影点具有直接映射关系的三维路面点，或者在将与目标投影点具有直接映射关系的三维路面点的高程调高预设高度后获得的三维路面点。与目标投影点具有直接映射关系的三维路面点是指：目标投影点和三维路面点分别为在不同坐标系下的同一个点。预设高度可以根据最终生成的道路边缘精度确定。

具体的，可以将第一三维路面点云中满足预设条件的三维路面点确定为目标三维路面点，并将目标三维路面点着色成目标颜色；

其中，预设条件包括如下任意一项：

第一三维路面点云中与目标投影点具有直接映射关系的三维路面点；

在将具有直接映射关系的三维路面点的高程调高预设高度后，获得的三维路面点；

在基于可行驶区域点云对具有直接映射关系的三维路面点进行过滤后的三维路面点，可行驶区域点云包括过滤后的投影点云中，位于由采集车车盖线、静态道路边缘线和动态道路边缘线所围成的区域内的投影点对应的第一三维路面点云中的三维路面点；

在基于可行驶区域点云对具有直接映射关系的三维路面点进行过滤后，对剩余的三维路面点的高程调高预设高度后获得的三维路面点。

本申请实施例将高程调高可以避免绘制的道路边缘遮挡原本的路面地标，通过可行驶区域点云过可以过滤掉道路内的三维路面点，从而提高道路边缘的准确率和展示效果。

此外，本申请实施例还可以将可行驶区域点云对应的三维路面点统一着色成某种颜色(与目标颜色不同)从而生成在三维路面中生成可行驶区域路面，从而可以实现基于可行驶区域路面对其他途径生成的三维地图进行修正等功能。

本申请实施例提供的三维路面的着色方法，在将未着色的三维路面还原成第一三维路面点云之后，可以将道路图像附近的第二三维路面点云投影到该道路图像中获得投影点云，并且直接将投影点云中位于目标区域内的目标投影点所对应的第一三维路面点云中的目标三维路面点着色成目标颜色，其中，目标区域包括与道路图像中感知的静态道路边缘线横坐标相同且纵坐标之差在预设差异范围内的像素点所构成的区域，目标三维路面点包括与目标投影点具有直接映射关系的三维路面点或者将这些三维路面点的高程调高后获得的三维路点。由此可知，由于本申请实施例是三维路面中的第二三维路面点云直接向二维的道路图像进行投影，且利用道路图像中感知的道路边缘线及其附近的投影点与三维路面点的映射关系，直接确定道路边缘线的三维路面点，并对其进行着色，所以本申请实施例无需构建平面，不涉及平面与三维路面坡度不一致的问题，从而无需迭代寻找附近曲面，进而既可以提高道路边缘线的生成效率，又可以提高准确率。

在一种实施方式中，为了投影点云的准确性以及提高道路边缘的生成效率，本申请实施例在将第二三维路面点云投影到对应的道路图像，获得道路图像中的投影点云之前，可以先将第二三维路面点云从站心坐标系转换到相机坐标系，再过滤相机坐标系下第二三维路面点云中的无效三维路面点，最后再将相机坐标系下过滤后的第二三维路面点云投影到对应的道路图像，获得道路图像中的投影点云。

其中，无效三维路面点包括高程在目标高程范围外的三维路面点、前向坐标小于或者等于0的三维路面点。目标高程范围可以为[0,3m]。

如图2所示，x轴、y轴和z轴构成了以相机光心为原点的相机坐标系，z轴为前向坐标轴，y轴为用于表示高程的坐标轴，x轴为水平坐标轴。u轴(横轴)和v轴(纵轴)构成了图像坐标系，z轴穿过图像坐标系的中心。

本申请实施例提供的三维路面的着色方法，通过滤掉高程在目标高程范围外的三维路面点，可以去除桥上桥下或者上下分层的路段，从而使得获得的投影点云更加准确，通过过滤掉前向坐标小于或者等于0的三维路面点，可以过滤掉位于相机拍摄视野以外的三维路面点，从而可以降低相机坐标系向图像坐标系转换的数据量，提高道路边缘的生成效率。

在一种实施方式中，为了提高生成道路边缘的准确性，本申请实施例可以在将目标投影点所对应的第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示三维路面的道路边缘之前，过滤投影点云中的无效投影点，其中，无效投影点包括位于图像坐标系以外的投影点、位于采集车的车盖线下方的投影点、位于静态道路边缘线上方的投影点以及位于动态道路边缘线上方的投影点。如图3所示，阴影部分是有效投影点区域，该区域内部的有效投影点所构成的区域可以称为可行驶区域，非阴影部分是无效投影点区域。有效投影点为投影点云中除了无效投影点以外的其他投影点。

需要补充的是，过滤投影点云中的无效投影点，不仅可以提高生成道路边缘的准确性，还可以提高后续生成彩色路面或语义分割路面的准确性。

在一种实施方式中，在过滤相机坐标系下第二三维路面点云中的无效三维路面点之后，本申请实施例还可以根据相机坐标系下过滤后的第二三维路面点云中每个待处理的三维路面点的目标距离，计算待处理的三维路面点对应的权重值，其中，目标距离为待处理的三维路面点的横向坐标与前向坐标之间的目标距离，目标距离与权重值呈负相关关系；在过滤投影点云中的无效投影点之后，在只有一个有效投影点对应第一三维路面点云中的一个三维路面点的情况下，将有效投影点对应的第一三维路面点云中的三维路面点着色成有效投影点的颜色值，其中，有效投影点为过滤后的投影点云中包含的投影点；在存在多个有效投影点对应第一三维路面点云中的同一个三维路面点的情况下，对多个有效投影点的颜色值和权重值进行加权计算，并将多个有效投影点对应的三维路面点着色成加权后的颜色值，其中，多个有效投影点中每个有效投影点分别位于不同道路图像中。

当本申请实施例所使用的道路图像是相机采集的原始彩色道路图像时，本申请实施例着色后生成的三维路面为彩色路面；当本申请实施例所使用的道路图像是对原始彩色道路图像语义分割后的图像时，本申请实施例着色后生成的三维路面为语义分割路面。彩色路面是与现实世界路面颜色相同的路面；语义分割路面是语义分割出路面地标部分和非地标部分的三维路面，路面地标是指路面上用线条、箭头、文字等向交通参与者传递引导、限制、警告等交通信息的标识。

此外，本申请实施例还可以将三维路面中未被着色的三维路面点统一着色成某种颜色(如灰色)，以突出显示出路面颜色。

本申请实施例提供的三维路面的着色方法，可以通过对有效投影点对应的第一三维路面点云中的三维路面点进行着色，可以实现对三维路面的着色，如当道路图像是彩色图像时，可以得到彩色路面，当道路图像是语义分割图像时，可以得到语义分割路面。并且在对三维路面进行着色时，还可以根据距离信息确定的权重值进行加权计算，从而提高了对三维路面着色的准确性。

相应于上述方法实施例，本申请的另一个实施例提供了一种三维路面的着色装置，如图4所示，该装置包括：

还原单元21，用于根据预设间距和三维路面的曲面参数，对三维路面进行还原操作，生成第一三维路面点云，其中，三维路面为基于原始雷达点云拟合而成的未着色的三维路面；

确定单元22，用于根据每帧道路图像在第一三维路面点云中的位姿，确定道路图像对应的第二三维路面点云，其中，道路图像为采集车的激光雷达采集原始雷达点云时，采集车的相机采集的道路图像，第二三维路面点云包括在第一三维路面点云中，与道路图像的位姿相距小于或者等于预设距离的三维路面点；

投影单元23，用于将第二三维路面点云投影到对应的道路图像，获得道路图像中的投影点云；

着色单元24，用于将目标投影点所对应的第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示三维路面的道路边缘，其中，目标投影点包括每帧道路图像的投影点云中位于目标区域内的投影点，目标区域包括与道路图像中感知的静态道路边缘线横坐标相同且纵坐标之差在预设差异范围内的像素点所构成的区域，目标三维路面点包括与目标投影点具有直接映射关系的三维路面点，或者在将与目标投影点具有直接映射关系的三维路面点的高程调高预设高度后获得的三维路面点。

在一种可能的实现方式中，该装置还包括：

坐标系转换单元，用于在将第二三维路面点云投影到对应的道路图像，获得道路图像中的投影点云之前，将第二三维路面点云从站心坐标系转换到相机坐标系；

第一过滤单元，用于过滤相机坐标系下第二三维路面点云中的无效三维路面点，其中，无效三维路面点包括高程在目标高程范围外的三维路面点、前向坐标小于或者等于0的三维路面点；

投影单元23，用于将相机坐标系下过滤后的第二三维路面点云投影到对应的道路图像，获得道路图像中的投影点云。

在一种可能的实现方式中，该装置还包括：

第二过滤单元，用于在将目标投影点所对应的第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示三维路面的道路边缘之前，过滤投影点云中的无效投影点，其中，无效投影点包括位于图像坐标系以外的投影点、位于采集车的车盖线下方的投影点、位于静态道路边缘线上方的投影点以及位于动态道路边缘线上方的投影点。

在一种可能的实现方式中，着色单元24，用于将第一三维路面点云中满足预设条件的三维路面点确定为目标三维路面点，并将目标三维路面点着色成目标颜色；

其中，预设条件包括如下任意一项：

第一三维路面点云中与目标投影点具有直接映射关系的三维路面点；

在将具有直接映射关系的三维路面点的高程调高预设高度后，获得的三维路面点；

在基于可行驶区域点云对具有直接映射关系的三维路面点进行过滤后的三维路面点，可行驶区域点云包括过滤后的投影点云中，位于由采集车车盖线、静态道路边缘线和动态道路边缘线所围成的区域内的投影点对应的第一三维路面点云中的三维路面点；

在基于可行驶区域点云对具有直接映射关系的三维路面点进行过滤后，对剩余的三维路面点的高程调高预设高度后获得的三维路面点。

在一种可能的实现方式中，该装置还包括：

计算单元，用于在过滤相机坐标系下第二三维路面点云中的无效三维路面点之后，根据相机坐标系下过滤后的第二三维路面点云中每个待处理的三维路面点的目标距离，计算待处理的三维路面点对应的权重值，其中，目标距离为待处理的三维路面点的横向坐标与前向坐标之间的目标距离，目标距离与权重值呈负相关关系；

着色单元24，还用于在过滤投影点云中的无效投影点之后，在只有一个有效投影点对应第一三维路面点云中的一个三维路面点的情况下，将有效投影点对应的第一三维路面点云中的三维路面点着色成有效投影点的颜色值，其中，有效投影点为过滤后的投影点云中包含的投影点；在存在多个有效投影点对应第一三维路面点云中的同一个三维路面点的情况下，对多个有效投影点的颜色值和权重值进行加权计算，并将多个有效投影点对应的三维路面点着色成加权后的颜色值，其中，多个有效投影点中每个有效投影点分别位于不同道路图像中。

本申请实施例提供的三维路面的着色装置，在将未着色的三维路面还原成第一三维路面点云之后，可以将道路图像附近的第二三维路面点云投影到该道路图像中获得投影点云，并且直接将投影点云中位于目标区域内的目标投影点所对应的第一三维路面点云中的目标三维路面点着色成目标颜色，其中，目标区域包括与道路图像中感知的静态道路边缘线横坐标相同且纵坐标之差在预设差异范围内的像素点所构成的区域，目标三维路面点包括与目标投影点具有直接映射关系的三维路面点或者将这些三维路面点的高程调高后获得的三维路点。由此可知，由于本申请实施例是三维路面中的第二三维路面点云直接向二维的道路图像进行投影，且利用道路图像中感知的道路边缘线及其附近的投影点与三维路面点的映射关系，直接确定道路边缘线的三维路面点，并对其进行着色，所以本申请实施例无需构建平面，不涉及平面与三维路面坡度不一致的问题，从而无需迭代寻找附近曲面，进而既可以提高道路边缘线的生成效率，又可以提高准确率。

基于上述方法实施例，本申请的另一实施例提供了一种存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现如上任一实施方式所述的方法。

基于上述方法实施例，本申请的另一实施例提供了一种电子设备或计算机设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得电子设备或计算机设备实现如上任一实施方式所述的方法。

基于上述方法实施例，本申请的另一实施例提供了车辆，该车辆包含如上任一实施方式所述的装置，或者包含如上所述的电子设备。

如图5所示，车辆包括CPU(Central Processing Unit，中央处理器)31、GPS(Global Positioning System，全球定位系统)定位设备32、T-Box(Telematics Box，远程信息处理器)33，V2X(Vehicle-to-Everything，车联网)模块34、激光雷达35和相机36。其中，GPS定位设备32用于获取车辆的当前地理位置；T-Box33可以作为网关与服务器进行通信；CPU31可以执行上述实施例提及的三维路面的着色方法；激光雷达35用于采集车辆前方的雷达点云；相机36用于采集车辆前方的道路图像。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。

Claims (13)

1.一种三维路面的着色方法，其特征在于，所述方法包括：

根据预设间距和三维路面的曲面参数，对所述三维路面进行还原操作，生成第一三维路面点云，其中，所述三维路面为基于原始雷达点云拟合而成的未着色的三维路面；

根据每帧道路图像在所述第一三维路面点云中的位姿，确定所述道路图像对应的第二三维路面点云，其中，所述道路图像为采集车的激光雷达采集所述原始雷达点云时，所述采集车的相机采集的道路图像，所述第二三维路面点云包括在所述第一三维路面点云中，与所述道路图像的所述位姿相距小于或者等于预设距离的三维路面点；

将所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的投影点云；

将目标投影点所对应的所述第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示所述三维路面的道路边缘，其中，所述目标投影点包括每帧所述道路图像的所述投影点云中位于目标区域内的投影点，所述目标区域包括与所述道路图像中感知的静态道路边缘线横坐标相同且纵坐标之差在预设差异范围内的像素点所构成的区域，所述目标三维路面点包括与所述目标投影点具有直接映射关系的三维路面点，或者在将与所述目标投影点具有直接映射关系的三维路面点的高程调高预设高度后获得的三维路面点。

2.根据权利要求1所述的方法，其特征在于，在所述将所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的投影点云之前，所述方法还包括：

将所述第二三维路面点云从站心坐标系转换到相机坐标系；

过滤所述相机坐标系下所述第二三维路面点云中的无效三维路面点，其中，所述无效三维路面点包括高程在目标高程范围外的三维路面点、前向坐标小于或者等于0的三维路面点；

所述将所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的投影点云，包括：

将所述相机坐标系下过滤后的所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的所述投影点云。

3.根据权利要求2所述的方法，其特征在于，在所述将目标投影点所对应的所述第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示所述三维路面的道路边缘之前，所述方法还包括：

过滤所述投影点云中的无效投影点，其中，所述无效投影点包括位于图像坐标系以外的投影点、位于所述采集车的车盖线下方的投影点、位于所述静态道路边缘线上方的投影点以及位于动态道路边缘线上方的投影点。

4.根据权利要求3所述的方法，其特征在于，所述将目标投影点所对应的所述第一三维路面点云中的目标三维路面点着色成目标颜色，包括：

将所述第一三维路面点云中满足预设条件的三维路面点确定为所述目标三维路面点，并将所述目标三维路面点着色成所述目标颜色；

其中，所述预设条件包括如下任意一项：

所述第一三维路面点云中与所述目标投影点具有直接映射关系的三维路面点；

在将所述具有直接映射关系的三维路面点的高程调高所述预设高度后，获得的三维路面点；

在基于可行驶区域点云对所述具有直接映射关系的三维路面点进行过滤后的三维路面点，所述可行驶区域点云包括过滤后的所述投影点云中，位于由所述车盖线、所述静态道路边缘线和动态道路边缘线所围成的区域内的投影点对应的第一三维路面点云中的三维路面点；

在基于所述可行驶区域点云对所述具有直接映射关系的三维路面点进行过滤后，对剩余的三维路面点的高程调高所述预设高度后获得的三维路面点。

5.根据权利要求3或4所述的方法，其特征在于，在所述过滤所述相机坐标系下所述第二三维路面点云中的无效三维路面点之后，所述方法还包括：

根据所述相机坐标系下过滤后的所述第二三维路面点云中每个待处理的三维路面点的目标距离，计算所述待处理的三维路面点对应的权重值，其中，所述目标距离为所述待处理的三维路面点的横向坐标与前向坐标之间的目标距离，所述目标距离与所述权重值呈负相关关系；

在所述过滤所述投影点云中的无效投影点之后，所述方法还包括：

在只有一个有效投影点对应所述第一三维路面点云中的一个三维路面点的情况下，将所述有效投影点对应的所述第一三维路面点云中的三维路面点着色成所述有效投影点的颜色值，其中，所述有效投影点为过滤后的所述投影点云中包含的投影点；

在存在多个有效投影点对应所述第一三维路面点云中的同一个三维路面点的情况下，对所述多个有效投影点的所述颜色值和所述权重值进行加权计算，并将所述多个有效投影点对应的三维路面点着色成加权后的颜色值，其中，所述多个有效投影点中每个所述有效投影点分别位于不同所述道路图像中。

6.一种三维路面的着色装置，其特征在于，所述装置包括：

还原单元，用于根据预设间距和三维路面的曲面参数，对所述三维路面进行还原操作，生成第一三维路面点云，其中，所述三维路面为基于原始雷达点云拟合而成的未着色的三维路面；

确定单元，用于根据每帧道路图像在所述第一三维路面点云中的位姿，确定所述道路图像对应的第二三维路面点云，其中，所述道路图像为采集车的激光雷达采集所述原始雷达点云时，所述采集车的相机采集的道路图像，所述第二三维路面点云包括在所述第一三维路面点云中，与所述道路图像的所述位姿相距小于或者等于预设距离的三维路面点；

投影单元，用于将所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的投影点云；

着色单元，用于将目标投影点所对应的所述第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示所述三维路面的道路边缘，其中，所述目标投影点包括每帧所述道路图像的所述投影点云中位于目标区域内的投影点，所述目标区域包括与所述道路图像中感知的静态道路边缘线横坐标相同且纵坐标之差在预设差异范围内的像素点所构成的区域，所述目标三维路面点包括与所述目标投影点具有直接映射关系的三维路面点，或者在将与所述目标投影点具有直接映射关系的三维路面点的高程调高预设高度后获得的三维路面点。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

坐标系转换单元，用于在所述将所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的投影点云之前，将所述第二三维路面点云从站心坐标系转换到相机坐标系；

第一过滤单元，用于过滤所述相机坐标系下所述第二三维路面点云中的无效三维路面点，其中，所述无效三维路面点包括高程在目标高程范围外的三维路面点、前向坐标小于或者等于0的三维路面点；

所述投影单元，用于将所述相机坐标系下过滤后的所述第二三维路面点云投影到对应的所述道路图像，获得所述道路图像中的所述投影点云。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二过滤单元，用于在所述将目标投影点所对应的所述第一三维路面点云中的目标三维路面点着色成目标颜色，以突出显示所述三维路面的道路边缘之前，过滤所述投影点云中的无效投影点，其中，所述无效投影点包括位于图像坐标系以外的投影点、位于所述采集车的车盖线下方的投影点、位于所述静态道路边缘线上方的投影点以及位于动态道路边缘线上方的投影点。

9.根据权利要求8所述的装置，其特征在于，所述着色单元，用于将所述第一三维路面点云中满足预设条件的三维路面点确定为所述目标三维路面点，并将所述目标三维路面点着色成所述目标颜色；

其中，所述预设条件包括如下任意一项：

所述第一三维路面点云中与所述目标投影点具有直接映射关系的三维路面点；

在将所述具有直接映射关系的三维路面点的高程调高所述预设高度后，获得的三维路面点；

在基于可行驶区域点云对所述具有直接映射关系的三维路面点进行过滤后的三维路面点，所述可行驶区域点云包括过滤后的所述投影点云中，位于由所述车盖线、所述静态道路边缘线和动态道路边缘线所围成的区域内的投影点对应的第一三维路面点云中的三维路面点；

在基于所述可行驶区域点云对所述具有直接映射关系的三维路面点进行过滤后，对剩余的三维路面点的高程调高所述预设高度后获得的三维路面点。

10.根据权利要求8或9所述的装置，其特征在于，所述装置还包括：

计算单元，用于在所述过滤所述相机坐标系下所述第二三维路面点云中的无效三维路面点之后，根据所述相机坐标系下过滤后的所述第二三维路面点云中每个待处理的三维路面点的目标距离，计算所述待处理的三维路面点对应的权重值，其中，所述目标距离为所述待处理的三维路面点的横向坐标与前向坐标之间的目标距离，所述目标距离与所述权重值呈负相关关系；

所述着色单元，还用于在所述过滤所述投影点云中的无效投影点之后，在只有一个有效投影点对应所述第一三维路面点云中的一个三维路面点的情况下，将所述有效投影点对应的所述第一三维路面点云中的三维路面点着色成所述有效投影点的颜色值，其中，所述有效投影点为过滤后的所述投影点云中包含的投影点；在存在多个有效投影点对应所述第一三维路面点云中的同一个三维路面点的情况下，对所述多个有效投影点的所述颜色值和所述权重值进行加权计算，并将所述多个有效投影点对应的三维路面点着色成加权后的颜色值，其中，所述多个有效投影点中每个所述有效投影点分别位于不同所述道路图像中。

11.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一项所述的方法。

12.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述电子设备实现如权利要求1-5中任一项所述的方法。

13.一种车辆，其特征在于，所述车辆包括权利要求6-10中任一项所述的装置，或者包括权利要求12所述的电子设备。