CN117372633A - 基于三维路面的道路边界生成方法及装置 - Google Patents

Abstract

本申请公开一种基于三维路面的道路边界生成方法及装置，能够解决基于激光雷达生成三维路面成本较高、难以准确、快速获得道路边界线的问题。该方法包括：获取根据三维地面点云生成的三维路面，三维地面点云包括根据相机位姿信息生成的三维地面点，相机位姿信息包括道路视频帧图像被采集时相机的位姿，相机为采集车上安装的相机；分别将每帧道路视频帧图像中可行驶区域的静态边界点投射到三维路面，获得投影点，投影点为三维地面点云中的三维地面点；对投影点进行聚类获得三维道路边界点云，并将三维道路边界点云的颜色设置为目标颜色，以突出显示三维路面的道路边界。

Description

基于三维路面的道路边界生成方法及装置

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种基于三维路面的道路边界生成方法及装置。

背景技术

电子地图是利用计算机技术，以数字方式存储和查阅的地图。人们在步行、骑行或者驾驶时，均可以通过查阅电子地图来获取去往目的地的路线，并且还可以通过开启智能导航功能实时导航。为了提高用户体验以及提高电子地图查询的准确度，已逐渐从二维电子地图发展为三维电子地图。生成三维电子地图最关键的环节之一就是生成三维路面。相关技术中，主要依靠激光雷达采集路网三维点，并从路网三维点中提取路面三维点，基于路面三维点生成三维路面。然而，基于激光雷达生成三维路面不但成本较高，而且在基于该三维路面对停止线、人行道、导流带等路面要素进行质量检查和修正时，难以准确、快速获得质量检查和修正时所需的参考线，即道路边界线。

发明内容

本申请提供了一种基于三维路面的道路边界生成方法及装置，能够解决基于激光雷达生成三维路面成本较高、难以准确、快速获得道路边界线的问题。

具体的技术方案如下：

第一方面，本申请实施例提供了一种基于三维路面的道路边界生成方法，方法包括：

获取根据三维地面点云生成的三维路面，三维地面点云包括根据相机位姿信息生成的三维地面点，相机位姿信息包括道路视频帧图像被采集时相机的位姿，相机为采集车上安装的相机；

分别将每帧道路视频帧图像中可行驶区域的静态边界点投射到三维路面，获得投影点，投影点为三维地面点云中的三维地面点；

对投影点进行聚类获得三维道路边界点云，并将三维道路边界点云的颜色设置为目标颜色，以突出显示三维路面的道路边界。

通过上述方案可知，本申请实施例可以根据采集车相机生成的道路视频帧图像对应的相机位姿信息生成三维地面点云，并根据三维地面点云生成三维路面，从而实现基于纯视觉的路面生成过程，而无需依赖昂贵的激光雷达，进而可以降低成本。在生成三维路面之后，还可以通过将每帧道路视频帧图像中可行驶区域的静态边界点投射到三维路面，获得投影点，并对投影点进行聚类、着色，从而可以突出显示三维路面的道路边界，进而在基于该三维路面对停止线、人行道、导流带等路面要素进行质量检查和修正时，可以准确、快速获得质量检查和修正时所需的参考线，即道路边界线。

在第一方面的第一种可能的实现方式中，在对投影点进行聚类获得三维道路边界点云之前，方法还包括：

将目标距离大于或者等于距离阈值的投影点进行丢弃，目标距离为道路视频帧图像中的静态边界点向三维路面的投射距离；和/或，

将位于可行驶区域占位路面的路面区域内的投影点进行丢弃，可行驶区域占位路面为根据三维路面生成的、用于区别显示路面区域和非路面区域的路面。

通过上述方案可知，本申请实施例可以将投射距离较远、位于路面区域的投影点等异常点进行删除后，再进行聚类，从而可以提高道路边界的准确率。

在第一方面的第二种可能的实现方式中，在将位于可行驶区域占位路面的路面区域内的投影点进行丢弃之前，方法还包括：

通过坐标系转换确定三维地面点云中每个三维地面点在目标道路视频帧图像中的映射点，目标道路视频帧图像为获得三维地面点所使用的相机位姿信息所对应的道路视频帧图像；

针对每个待涂色的三维地面点，在目标映射点位于可行驶区域的路面区域的情况下，将待涂色的三维地面点的颜色设置为第一预设颜色，在目标映射点位于可行驶区域的非路面区域的情况下，将待涂色的三维地面点的颜色设置为第二预设颜色，以生成可行驶区域占位路面，目标映射点为待涂色的三维地面点对应的映射点。

在第一方面的第三种可能的实现方式中，在将三维道路边界点云的颜色设置为目标颜色之前，方法还包括：

提取三维道路边界点云中的中心点，获得第一线状道路边界点云；

以第一线状道路边界点云为中心，向两边拓宽预设距离，获得第二线状道路边界点云；

为第二线状道路边界点云中每个边界点增加目标高度，获得第三线状道路边界点云；

将三维道路边界点云的颜色设置为目标颜色包括：

将第三线状道路边界点云的颜色设置为目标颜色。

通过上述方案可知，本申请实施例通过对原始得到的三维道路边界点云进行提中心、拓宽、提升高度等处理，可以确保最终显示的道路边界有足够的宽度能够清晰可见，使得道路边界更加准确。

在第一方面的第四种可能的实现方式中，获取根据三维地面点云生成的三维路面，包括：

根据二维网格化后的矢量语义地图中每个二维网格内的三维地面点数量，从二维网格中筛选出特定二维网格；

对每个特定二维网格内三维地面点按照高度进行聚类，获得每个特定二维网格内包含的第一目标曲面，第一目标曲面为三维曲面；

将第一目标曲面确定为三维路面。

在第一方面的第五种可能的实现方式中，在将第一目标曲面确定为三维路面之前，方法还包括：

针对每个待拟合第一目标曲面，根据待拟合第一目标曲面内的三维地面点和与待拟合第一目标曲面连接的至少一个其他第一目标曲面内的三维地面点，对待拟合第一目标曲面进行二次曲面拟合，获得待拟合第一目标曲面对应的第二目标曲面，其中，待拟合第一目标曲面为待进行二次曲面拟合的第一目标曲面，各个第一目标曲面的连接关系根据各个第一目标曲面对应的特定二维网格之间的连接关系以及高度确定；

将第一目标曲面确定为三维路面，包括：

将第一目标曲面对应的第二目标曲面确定为三维路面。

在第一方面的第六种可能的实现方式中，根据二维网格化后的矢量语义地图中每个二维网格内的三维地面点数量，从二维网格中筛选出特定二维网格，包括：

针对二维网格化后的矢量语义地图中每个待判断的二维网格，在待判断的二维网格内三维地面点数量大于或者等于目标数量阈值的情况下，确定待判断的二维网格为特定二维网格，在待判断的二维网格内三维地面点数量小于目标数量阈值的情况下，确定待判断的二维网格不是特定二维网格。

第二方面，本申请实施例提供了一种基于三维路面的道路边界生成装置，装置包括：

获取单元，用于获取根据三维地面点云生成的三维路面，三维地面点云包括根据相机位姿信息生成的三维地面点，相机位姿信息包括道路视频帧图像被采集时相机的位姿，相机为采集车上安装的相机；

投射单元，用于分别将每帧道路视频帧图像中可行驶区域的静态边界点投射到三维路面，获得投影点，投影点为三维地面点云中的三维地面点；

聚类单元，用于对投影点进行聚类获得三维道路边界点云；

设置单元，用于将三维道路边界点云的颜色设置为目标颜色，以突出显示三维路面的道路边界。

通过上述方案可知，本申请实施例可以根据采集车相机生成的道路视频帧图像对应的相机位姿信息生成三维地面点云，并根据三维地面点云生成三维路面，从而实现基于纯视觉的路面生成过程，而无需依赖昂贵的激光雷达，进而可以降低成本。在生成三维路面之后，还可以通过将每帧道路视频帧图像中可行驶区域的静态边界点投射到三维路面，获得投影点，并对投影点进行聚类、着色，从而可以突出显示三维路面的道路边界，进而在基于该三维路面对停止线、人行道、导流带等路面要素进行质量检查和修正时，可以准确、快速获得质量检查和修正时所需的参考线，即道路边界线。

在第二方面的第一种可能的实现方式中，装置还包括：第一丢弃单元和/或第二丢弃单元；

第一丢弃单元，用于在对投影点进行聚类获得三维道路边界点云之前，将目标距离大于或者等于距离阈值的投影点进行丢弃，目标距离为道路视频帧图像中的静态边界点向三维路面的投射距离；

第二丢弃单元，用于将位于可行驶区域占位路面的路面区域内的投影点进行丢弃，可行驶区域占位路面为根据三维路面生成的、用于区别显示路面区域和非路面区域的路面。

在第二方面的第二种可能的实现方式中，装置还包括：

确定单元，用于在将位于可行驶区域占位路面的路面区域内的投影点进行丢弃之前，通过坐标系转换确定三维地面点云中每个三维地面点在目标道路视频帧图像中的映射点，目标道路视频帧图像为获得三维地面点所使用的相机位姿信息所对应的道路视频帧图像；

生成单元，用于针对每个待涂色的三维地面点，在目标映射点位于可行驶区域的路面区域的情况下，将待涂色的三维地面点的颜色设置为第一预设颜色，在目标映射点位于可行驶区域的非路面区域的情况下，将待涂色的三维地面点的颜色设置为第二预设颜色，以生成可行驶区域占位路面，目标映射点为待涂色的三维地面点对应的映射点。

在第二方面的第三种可能的实现方式中，装置还包括：

提取单元，用于在将三维道路边界点云的颜色设置为目标颜色之前，提取三维道路边界点云中的中心点，获得第一线状道路边界点云；

拓宽单元，用于以第一线状道路边界点云为中心，向两边拓宽预设距离，获得第二线状道路边界点云；

增加单元，用于为第二线状道路边界点云中每个边界点增加目标高度，获得第三线状道路边界点云；

设置单元，用于将第三线状道路边界点云的颜色设置为目标颜色。

在第二方面的第四种可能的实现方式中，获取单元，包括：

筛选模块，用于根据二维网格化后的矢量语义地图中每个二维网格内的三维地面点数量，从二维网格中筛选出特定二维网格；

聚类模块，用于对每个特定二维网格内三维地面点按照高度进行聚类，获得每个特定二维网格内包含的第一目标曲面，第一目标曲面为三维曲面；

确定模块，用于将第一目标曲面确定为三维路面。

在第二方面的第五种可能的实现方式中，获取单元，还包括：

拟合模块，用于在将第一目标曲面确定为三维路面之前，针对每个待拟合第一目标曲面，根据待拟合第一目标曲面内的三维地面点和与待拟合第一目标曲面连接的至少一个其他第一目标曲面内的三维地面点，对待拟合第一目标曲面进行二次曲面拟合，获得待拟合第一目标曲面对应的第二目标曲面，其中，待拟合第一目标曲面为待进行二次曲面拟合的第一目标曲面，各个第一目标曲面的连接关系根据各个第一目标曲面对应的特定二维网格之间的连接关系以及高度确定；

确定模块，用于将第一目标曲面对应的第二目标曲面确定为三维路面。

在第二方面的第六种可能的实现方式中，筛选模块，用于针对二维网格化后的矢量语义地图中每个待判断的二维网格，在待判断的二维网格内三维地面点数量大于或者等于目标数量阈值的情况下，确定待判断的二维网格为特定二维网格，在待判断的二维网格内三维地面点数量小于目标数量阈值的情况下，确定待判断的二维网格不是特定二维网格。

第三方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一可能的实现方式所述的方法。

第四方面，本申请实施例提供了一种电子设备，电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行，使得电子设备实现如第一方面任一可能的实现方式所述的方法。

第五方面，本申请实施例提供了一种车辆，车辆包含如第二方面任一可能的实现方式所述的装置，或者包含如第四方面所述的电子设备。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于三维路面的道路边界生成方法的流程示意图；

图2为本申请实施例提供的一种可行驶区域的示例图；

图3为本申请实施例提供的一种静态边界点投射的示例图；

图4为本申请实施例提供的一种基于三维路面的道路边界生成的组成框图；

图5为本申请实施例提供的一种车辆的组成框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本申请实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

图1为一种基于三维路面的道路边界生成方法的流程示意图，该方法可以应用于电子设备或计算机设备，具体可以应用于车辆或者服务器，该方法可以包括如下步骤：

S110：获取根据三维地面点云生成的三维路面。

三维地面点云包括根据相机位姿信息生成的三维地面点，还包括根据车道线信息生成的三维地面点。其中，相机位姿信息和车道线信息均存储在矢量语义地图中，可以分别将矢量语义地图中车道线信息上的每个采样点以及相机位姿信息到矢量语义地图中地面的每个垂点作为三维地面点。相机位姿信息包括道路视频帧图像被采集时相机的位姿，相机为采集车上安装的相机，道路视频帧图像包括车道线，矢量语义地图中的车道线信息包括用于描述车道线的车道线坐标点集合。相机位姿包括相机位置和相机姿势。相机位姿信息可以是经过采集车多趟采集和/或经过抽稀过的，并保留合理数据量的位姿信息。在实际应用中，相机位姿信息可以以相机图标形式存储在矢量语义地图中，也可以直接以数据形式存储在矢量语义地图。本申请实施例对相机在采集车上的安装角度及安装位置不做限定。

本申请实施例可以将相机位姿信息对应的对地参数向量与地面的交点确定为垂点；按照目标采样频率对车道线信息进行采样，获得多个采样点；将矢量语义地图中包含的垂点和采样点确定为地面点云。对地参数向量是一个三维向量，方向为相机坐标系下垂直于地面，模长为相机到地面的高度。目标采样频率可以根据实际需求设定。

在建立矢量语义地图的过程中，可以同时调整相机位姿信息和车道线的位置，如采用BA(Bundle Adjustment，集束调整)技术进行调整，所以矢量语义建图的结果中，相机位姿信息和车道线信息的位置是一致且统一的，即二者达到了投影误差最小的局部最优解，他们之间的相对位置关系是非常准确的。初始建立的矢量语义地图中除了包括相机位姿信息、车道线信息外，还包括其他地图要素，如牌杆箭头、路面地标等。在获得初始的矢量语义地图后，可以先过滤掉所有围栏外的地图要素及相机位姿信息，保留围栏内的相机位姿信息和车道线信息。

在一种实施方式中，本步骤的具体实现方式包括步骤S111-S113：

S111、根据二维网格化后的矢量语义地图中每个二维网格内的三维地面点数量，从二维网格中筛选出特定二维网格。

具体的，可以先针对二维网格化后的矢量语义地图中每个待判断的二维网格，在待判断的二维网格内三维地面点数量大于或者等于目标数量阈值的情况下，确定待判断的二维网格为特定二维网格，在待判断的二维网格内三维地面点数量小于目标数量阈值的情况下，确定待判断的二维网格不是特定二维网格。

其中，二维网格可以为三角形、矩形或者其他多边形，本申请实施例对二维网格的划分形状不做限定。且二维网格涉及的维度是水平面上的维度，即每个二维网格可看做一个P*Q水平大小，垂直高度无限的柱形空间。目标数量阈值可以根据实际经验确定，例如，可以根据特定二维网格进行拟合得到的第一目标曲面的拟合质量对目标数量阈值进行调整，最终得到满足拟合质量要求的第一目标曲面对应的目标数量阈值作为后续使用过程中所需的目标数量阈值。

S112、对每个特定二维网格内三维地面点按照高度进行聚类，获得每个特定二维网格内包含的第一目标曲面，第一目标曲面为三维曲面。

在对每个特定二维网格内三维地面点按照高度(即高程)进行聚类后，可以在每个特定二维网格内生成至少一个第一目标曲面。当一个特定二维网格包括多个第一目标曲面时，可能存在立交桥。

S113、将第一目标曲面确定为三维路面。

在一种实施方式中，在执行步骤S113之前，还可以先针对每个待拟合第一目标曲面，根据待拟合第一目标曲面内的三维地面点和与待拟合第一目标曲面连接的至少一个其他第一目标曲面内的三维地面点，对待拟合第一目标曲面进行二次曲面拟合，获得待拟合第一目标曲面对应的第二目标曲面，其中，待拟合第一目标曲面为待进行二次曲面拟合的第一目标曲面，各个第一目标曲面的连接关系根据各个第一目标曲面对应的特定二维网格之间的连接关系以及高度确定；再将第一目标曲面对应的第二目标曲面确定为三维路面，第二目标曲面为三维曲面。

示例性的，假设矢量语义地图中的路面被划分为16个二维网格，且这16个二维网格均为特定二维网格，那么先对每个特定二维网格内三维地面点按照高度进行聚类，获得每个特定二维网格内包含的第一目标曲面(为方便解释，下面称为三维网格)，为了进一步提高三维网格的光滑度和拟合质量，可以对每个三维网格进行二次拟合。例如，将16个二维网格按照从左到右、从上到下进行排序为1号-16号。当需要拟合6号三维网格的曲面方程时，可以根据6号三维网格内的三维地面点以及与6号三维网格连接的2号、5号、7号和10号三维网格的三维地面点，进行曲面拟合，作为6号三维网格的曲面方程。

本申请实施例通过结合与待拟合第一目标曲面连接的至少一个其他第一目标曲面内的三维地面点，对待拟合第一目标曲面进行二次拟合，可以进一步提高待拟合第一目标曲面与周围其他第一目标曲面之间衔接的光滑度，从而提高了三维路面的拟合质量。

各个第一目标曲面的连接关系的确定方法包括：

先针对每个待处理第一目标曲面，确定与待处理第一目标曲面对应的特定二维网格连接的其他特定二维网格；再将每个其他特定二维网格内包含的第一目标曲面中与待处理第一目标曲面的平均高度之差最小且平均高度之差小于或者等于目标高度差阈值的第一目标曲面，确定为与待处理第一目标曲面具有连接关系的第一目标曲面，否则，不存在与该待处理第一目标曲面具有连接关系的第一目标曲面。与待处理第一目标曲面对应的特定二维网格是指生成该待处理第一目标曲面时所基于的特定二维网格。对于每个其他特定二维网格内包含的至少一个第一目标曲面，该至少一个第一目标曲面中与待处理第一目标曲面的平均高度之差越小，与待处理第一目标曲面处于同一个水平面的可能性最大，因此可以将每个其他特定二维网格内包含的第一目标曲面中与待处理第一目标曲面的平均高度之差最小且平均高度之差小于或者等于目标高度差阈值的第一目标曲面，确定为与待处理第一目标曲面具有连接关系的第一目标曲面。目标高度差阈值根据实际经验确定。

S120：分别将每帧道路视频帧图像中可行驶区域的静态边界点投射到三维路面，获得投影点。

投影点为三维地面点云中的三维地面点。可行驶区域包括可行驶边界和采集车车盖线围成的区域。可行驶边界包括静态边界和动态边界，静态边界包括道路围栏等用于区分道路与非道路的固定分界线，动态边界为采集车前方车辆尾部边缘，因此动态边界可能有也可能没有。如图2所示，可行驶区域由一条车盖线、两条围栏和一条前方车辆尾部边缘线组成。

根据道路视频帧图像中可行驶区域的静态边界点获得投影点的方法包括但不限于以下两种：

(1)直接投影

如图3所示，锥形为相机图标，按照道路视频帧图像被采集时相机的位姿进行存储，相机图标的最大四边形为像平面，可以将对应的道路视频帧图像放置在该像平面上。在进行投影前，可以先将三维路面进行离散处理，获得多个离散后的平面，然后再沿着相机光心方向，将像平面中静态边界上的静态边界点投影到离散后的平面上，与平面的交点即为该静态边界点对应的投影点。

(2)坐标系转换

静态边界点位于图像坐标系，投影点位于地图坐标系，因此，可以通过坐标系转换的方法，将静态边界点从图像坐标系转换到地图坐标系，获得静态边界点在地图坐标系中的坐标，即投影点的坐标。

S130：对投影点进行聚类获得三维道路边界点云，并将三维道路边界点云的颜色设置为目标颜色，以突出显示三维路面的道路边界。

目标颜色包括为除了路面颜色以外的其他颜色，尤其与路面颜色差异较大的颜色，例如，可以为红色、绿色等。

在一种实施方式中，为了提高程序运行使用资源的稳定性，在分别将每帧道路视频帧图像中可行驶区域的静态边界点投射到三维路面，获得投影点之前，可以先将三维路面划分为多个三维路面分段；之后将每帧道路视频帧图像中可行驶区域的静态边界点投射到三维路面分段，在获得所有三维路面分段的投影点后，再对投影点进行聚类获得三维道路边界点云，并将三维道路边界点云的颜色设置为目标颜色，以突出显示三维路面的道路边界。其中，在将三维路面划分为多个三维路面分段时，可以基于广度优先算法以及生成三维路面时建立好的网格之间的连接关系(详见上述三维路面的生成过程)，对三维路面进行划分，使得各个三维路面分段所包含的网格数量相近。

本申请实施例提供的基于三维路面的道路边界生成方法，可以根据采集车相机生成的道路视频帧图像对应的相机位姿信息生成三维地面点云，并根据三维地面点云生成三维路面，从而实现基于纯视觉的路面生成过程，而无需依赖昂贵的激光雷达，进而可以降低成本。在生成三维路面之后，还可以通过将每帧道路视频帧图像中可行驶区域的静态边界点投射到三维路面，获得投影点，并对投影点进行聚类、着色，从而可以突出显示三维路面的道路边界，进而在基于该三维路面对停止线、人行道、导流带等路面要素进行质量检查和修正时，可以准确、快速获得质量检查和修正时所需的参考线，即道路边界线。

在一种实施方式中，投影点中可能会存在投影不准确的异常点，导致聚类得到的道路边界不准确。为了解决该技术问题，本申请实施例在对投影点进行聚类获得三维道路边界点云之前，先将目标距离大于或者等于距离阈值的投影点进行丢弃，目标距离为道路视频帧图像中的静态边界点向三维路面的投射距离；和/或，将位于可行驶区域占位路面的路面区域内的投影点进行丢弃，可行驶区域占位路面为根据三维路面生成的、用于区别显示路面区域和非路面区域的路面；再对保留的投影点进行聚类获得三维道路边界点云。距离阈值可以为投射距离的平均值，也可以为其他值。

其中，可行驶区域占位路面的生成方法包括：通过坐标系转换确定三维地面点云中每个三维地面点在目标道路视频帧图像中的映射点，目标道路视频帧图像为获得三维地面点所使用的相机位姿信息所对应的道路视频帧图像；针对每个待涂色的三维地面点，在目标映射点位于可行驶区域的路面区域的情况下，将待涂色的三维地面点的颜色设置为第一预设颜色，在目标映射点位于可行驶区域的非路面区域的情况下，将待涂色的三维地面点的颜色设置为第二预设颜色，以生成可行驶区域占位路面，目标映射点为待涂色的三维地面点对应的映射点。

其中，三维地面点在地图坐标系中，道路视频帧图像中的像素点在图像坐标系中，所以可以通过坐标系转换，将地图坐标系中的三维地面点转换到图像坐标系，得到图像坐标系中映射点的坐标。

具体的，可以通过如下公式计算映射点的坐标：b＝K*(T_cw*a)，其中，K为相机内参矩阵，T_cw为用于表示相机位姿信息的位姿变换矩阵，a为三维地面点的坐标，b为目标视频帧图像中映射点的坐标。如下所述，T_cw可以为4*4大小的矩阵，其中，左上3*3为旋转矩阵，右上3*1为平移矩阵，左下1*3为0，右下1*1为1。

此外，第一预设颜色和第二预设颜色为不同的颜色，例如第一预设颜色为白色，第二预设颜色为黑色。路面区域为可供车辆、行人等行驶的路面，非路面区域为静态可行驶边界。

在一种实施方式中，为了增强三维地面的显示效果，提高路面真实度，本申请实施例可以在根据三维地面点云生成的三维路面后，对三维路面进行着色，生成彩色三维路面，之后可以在彩色三维路面上突出显示道路边界。

具体的，可以先通过坐标系转换确定三维地面点云中每个三维地面点在目标道路视频帧图像中的映射点，再针对每个待涂色的三维地面点，在目标映射点在目标道路视频帧图像中的位置位于可行驶区域内的情况下，根据目标映射点的颜色设置待涂色的三维地面点的颜色，以生成彩色三维路面。

在一种实施方式中，为了进一步使得三维路面中突出显示的道路边界粗细程度更加合理，进而使得道路边界更加准确，本申请实施例在将三维道路边界点云的颜色设置为目标颜色之前，提取三维道路边界点云中的中心点，获得第一线状道路边界点云；以第一线状道路边界点云为中心，向两边拓宽预设距离，获得第二线状道路边界点云；为第二线状道路边界点云中每个边界点增加目标高度，获得第三线状道路边界点云；将第三线状道路边界点云的颜色设置为目标颜色。

以第一线状道路边界点云为中心，向两边拓宽预设距离，获得第二线状道路边界点云的具体实现方式包括：分别以线状道路边界点云中每个边界点为中心，向路内侧方向、预设距离内寻找三维地面点云，以及向路外侧方向、预设距离内寻找三维地面点云，将寻找到的三维地面点云和线状道路边界点云作为第二线状道路边界点云。为每个边界点增加目标高度是指将每个边界点的高程加上目标高度。此外，还可以将最终得到的第三线状道路边界点云设置在三维路面的上层，以确保不被压盖。

本申请实施例通过对原始得到的三维道路边界点云进行提中心、拓宽、提升高度等处理，可以确保最终显示的道路边界有足够的宽度能够清晰可见且不被压盖。

在一种实施方式中，矢量语义地图的建立方法包括但不限于如下方法：

(A1)获取采集车在同一位置区域中多次行驶时相机(采集车上安装的相机)采集的多组道路视频帧图像，以及每组道路视频帧图像中的每帧道路视频帧图像被采集时相机的位姿(下述简称相机位姿信息)。

其中，位置区域可以为一条道路或者一条道路中的一段等。当采集车每次从同一位置区域的一端行驶至另一端的过程中，相机采集的多帧道路视频帧图像构成一组道路视频帧图像。当采集车Y次在同一位置区域中行驶时，可以得到第一组道路视频帧图像、第二组道路视频帧图像……第Y组道路视频帧图像，每组道路视频帧图像中包括多帧道路视频帧图像。

在相机采集每帧道路视频帧图像时，可以根据采集车中设置的IMU(InertialMeasurement Unit，惯性测量单元)和/或GPS(Global Positioning System，全球定位系统)采集的数据进行定位，并结合相机的安装位置，确定在采集该道路视频帧图像时的相机位姿信息。

(A2)对每帧道路视频帧图像中的道路交通标志进行特征检测，得到每帧道路视频帧图像中的语义特征。

其中，道路交通标志可以包括车道线、路灯杆、交通牌、道路边缘线、停止线、地面标识和红绿灯等。每帧道路视频帧图像中的语义特征，可以为一个或者多个。例如，一帧道路视频帧图像中，可以包括一个交通牌的语义特征和一个车道线的语义特征等。

(A3)根据每帧道路视频帧图像中的语义特征，对各组道路视频帧图像之间进行数据关联，得到各组道路视频帧图像之间属于同一道路交通标志的关联语义特征，并确定关联语义特征在地图坐标系中的第一目标位置。

其中，各组道路视频帧图像之间属于同一道路交通标志的关联语义特征的种类可以为一个或者多个。例如，针对同一路段的3组道路视频帧图像中均存在车道线1、车道线2、车道线3的语义特征，则车道线1、车道线2和车道线3，均可以确定为关联语义特征，即关联语义特征包括3个，并采用不同的身份标识码标识。

(A4)根据第一目标位置以及每帧道路视频帧图像对应的相机位姿信息，确定关联语义特征与每帧道路视频帧图像中对应的语义特征之间的重投影误差，并确定各个重投影误差之间的投影误差和值，根据投影误差和值，确定关联语义特征在地图坐标系中的第二目标位置。

第一目标位置可以理解为关联语义特征的初始位置，该初始位置的准确性还不够高。为了确定关联语义特征更准确的第二目标位置，本步骤中可以确定关联语义特征与每帧道路视频帧图像中对应的语义特征之间的重投影误差，进而确定第二目标位置。

本步骤的每帧道路视频帧图像包括所有组道路视频帧图像中的每帧道路视频帧图像。其中，道路视频帧图像中对应的语义特征，可以理解为，道路视频帧图像中与关联语义特征对应的语义特征，即道路视频帧图像中与关联语义特征属于同一道路交通标志的语义特征。上述针对一帧道路视频帧图像确定的重投影误差，可以理解为，关联语义特征与道路视频帧图像中对应的语义特征之间在同一坐标系中时的位置差异。

例如，针对同一路段的3组道路视频帧图像中均存在车道线1，该车道线1即为关联语义特征。3组道路视频帧图像中，第一组道路视频帧图像中有10帧道路视频帧图像中存在车道线1，第二组道路视频帧图像中有12帧道路视频帧图像中存在车道线1，第三组道路视频帧图像中有13帧图像中存在车道线1。在确定该关联语义特征(车道线1)的第二目标位置时，可以根据第一目标位置以及上述包括车道线1的道路视频帧图像对应的相机位姿信息，确定该关联语义特征分别与上述35帧道路视频帧图像中的车道线1的语义特征之间的重投影误差，并求和。

(A5)根据关联语义特征、第二目标位置、相机位姿信息，生成矢量语义地图。

本步骤中，具体可以是将关联语义特征和第二目标位置之间的对应关系、相机位姿信息添加至已有矢量地图中，生成矢量语义地图。

上述矢量语义地图的建立方法中多组道路视频帧图像是采集车在同一位置区域中多次行驶时采集得到的，相机能够从不同角度采集到同一道路交通标志，基于在大量道路视频帧图像中的重投影所得到的关联语义特征的位置，相比于基于一次行驶过程中获取的数据，本申请实施例能够提高所确定的关联语义特征的位置的准确性，进而提高构建的矢量语义地图的准确性。

相应于上述方法实施例，本申请的另一个实施例提供了一种基于三维路面的道路边界生成装置，如图4所示，该装置包括：

获取单元20，用于获取根据三维地面点云生成的三维路面，三维地面点云包括根据相机位姿信息生成的三维地面点，相机位姿信息包括道路视频帧图像被采集时相机的位姿，相机为采集车上安装的相机；

投射单元22，用于分别将每帧道路视频帧图像中可行驶区域的静态边界点投射到三维路面，获得投影点，投影点为三维地面点云中的三维地面点；

聚类单元24，用于对投影点进行聚类获得三维道路边界点云；

设置单元26，用于将三维道路边界点云的颜色设置为目标颜色，以突出显示三维路面的道路边界。

在第二方面的第一种可能的实现方式中，该装置还包括：第一丢弃单元和/或第二丢弃单元；

第一丢弃单元，用于在对投影点进行聚类获得三维道路边界点云之前，将目标距离大于或者等于距离阈值的投影点进行丢弃，目标距离为道路视频帧图像中的静态边界点向三维路面的投射距离；

第二丢弃单元，用于将位于可行驶区域占位路面的路面区域内的投影点进行丢弃，可行驶区域占位路面为根据三维路面生成的、用于区别显示路面区域和非路面区域的路面。

在第二方面的第二种可能的实现方式中，该装置还包括：

确定单元，用于在将位于可行驶区域占位路面的路面区域内的投影点进行丢弃之前，通过坐标系转换确定三维地面点云中每个三维地面点在目标道路视频帧图像中的映射点，目标道路视频帧图像为获得三维地面点所使用的相机位姿信息所对应的道路视频帧图像；

生成单元，用于针对每个待涂色的三维地面点，在目标映射点位于可行驶区域的路面区域的情况下，将待涂色的三维地面点的颜色设置为第一预设颜色，在目标映射点位于可行驶区域的非路面区域的情况下，将待涂色的三维地面点的颜色设置为第二预设颜色，以生成可行驶区域占位路面，目标映射点为待涂色的三维地面点对应的映射点。

在第二方面的第三种可能的实现方式中，该装置还包括：

提取单元，用于在将三维道路边界点云的颜色设置为目标颜色之前，提取三维道路边界点云中的中心点，获得第一线状道路边界点云；

拓宽单元，用于以第一线状道路边界点云为中心，向两边拓宽预设距离，获得第二线状道路边界点云；

增加单元，用于为第二线状道路边界点云中每个边界点增加目标高度，获得第三线状道路边界点云；

设置单元26，用于将第三线状道路边界点云的颜色设置为目标颜色。

在第二方面的第四种可能的实现方式中，获取单元20，包括：

筛选模块，用于根据二维网格化后的矢量语义地图中每个二维网格内的三维地面点数量，从二维网格中筛选出特定二维网格；

聚类模块，用于对每个特定二维网格内三维地面点按照高度进行聚类，获得每个特定二维网格内包含的第一目标曲面，第一目标曲面为三维曲面；

确定模块，用于将第一目标曲面确定为三维路面。

在第二方面的第五种可能的实现方式中，获取单元20，还包括：

拟合模块，用于在将第一目标曲面确定为三维路面之前，针对每个待拟合第一目标曲面，根据待拟合第一目标曲面内的三维地面点和与待拟合第一目标曲面连接的至少一个其他第一目标曲面内的三维地面点，对待拟合第一目标曲面进行二次曲面拟合，获得待拟合第一目标曲面对应的第二目标曲面，其中，待拟合第一目标曲面为待进行二次曲面拟合的第一目标曲面，各个第一目标曲面的连接关系根据各个第一目标曲面对应的特定二维网格之间的连接关系以及高度确定；

确定模块，用于将第一目标曲面对应的第二目标曲面确定为三维路面。

在第二方面的第六种可能的实现方式中，筛选模块，用于针对二维网格化后的矢量语义地图中每个待判断的二维网格，在待判断的二维网格内三维地面点数量大于或者等于目标数量阈值的情况下，确定待判断的二维网格为特定二维网格，在待判断的二维网格内三维地面点数量小于目标数量阈值的情况下，确定待判断的二维网格不是特定二维网格。

本申请实施例提供的基于三维路面的道路边界生成装置，可以根据采集车相机生成的道路视频帧图像对应的相机位姿信息生成三维地面点云，并根据三维地面点云生成三维路面，从而实现基于纯视觉的路面生成过程，而无需依赖昂贵的激光雷达，进而可以降低成本。在生成三维路面之后，还可以通过将每帧道路视频帧图像中可行驶区域的静态边界点投射到三维路面，获得投影点，并对投影点进行聚类、着色，从而可以突出显示三维路面的道路边界，进而在基于该三维路面对停止线、人行道、导流带等路面要素进行质量检查和修正时，可以准确、快速获得质量检查和修正时所需的参考线，即道路边界线。

基于上述方法实施例，本申请的另一实施例提供了一种存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现如上任一实施方式所述的方法。

基于上述方法实施例，本申请的另一实施例提供了一种电子设备或计算机设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得电子设备或计算机设备实现如上任一实施方式所述的方法。

基于上述方法实施例，本申请的另一实施例提供了车辆，该车辆包含如上任一实施方式所述的装置，或者包含如上所述的电子设备。

如图5所示，车辆包括摄像头30、GPS模块32、IMU模块34、ECU(Electronic ControlUnit，电子控制单元)36、T-Box(Telematics Box，远程信息处理器)38。其中，摄像头30包括相机，可以安装在车身前部，用于采集车辆行驶过程中的道路视频帧图像；GPS模块32用于获取车辆的定位信息；IMU模块34用于采集车辆的角速度和/或加速度等惯导信息；ECU36可以执行上述基于三维路面的道路边界生成方法，T-Box38可以作为网关与服务器进行通信。ECU36还可以获取摄像头30采集的道路视频帧图像、惯导信息、车辆的定位信息，并通过T-Box38将这些信息上报给服务器，以使得服务器根据这些信息生成矢量语义地图，并根据矢量语义地图生成三维路面，并突出显示道路边界。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。

Claims (15)

1.一种基于三维路面的道路边界生成方法，其特征在于，所述方法包括：

获取根据三维地面点云生成的三维路面，所述三维地面点云包括根据相机位姿信息生成的三维地面点，所述相机位姿信息包括道路视频帧图像被采集时相机的位姿，所述相机为采集车上安装的相机；

分别将每帧所述道路视频帧图像中可行驶区域的静态边界点投射到所述三维路面，获得投影点，所述投影点为三维地面点云中的所述三维地面点；

对所述投影点进行聚类获得三维道路边界点云，并将所述三维道路边界点云的颜色设置为目标颜色，以突出显示所述三维路面的道路边界。

2.根据权利要求1所述的方法，其特征在于，在所述对所述投影点进行聚类获得三维道路边界点云之前，所述方法还包括：

将目标距离大于或者等于距离阈值的所述投影点进行丢弃，所述目标距离为所述道路视频帧图像中的所述静态边界点向所述三维路面的投射距离；和/或，

将位于可行驶区域占位路面的路面区域内的所述投影点进行丢弃，所述可行驶区域占位路面为根据所述三维路面生成的、用于区别显示路面区域和非路面区域的路面。

3.根据权利要求2所述的方法，其特征在于，在所述将位于可行驶区域占位路面的路面区域内的所述投影点进行丢弃之前，所述方法还包括：

通过坐标系转换确定所述三维地面点云中每个三维地面点在目标道路视频帧图像中的映射点，所述目标道路视频帧图像为获得所述三维地面点所使用的相机位姿信息所对应的道路视频帧图像；

针对每个待涂色的三维地面点，在目标映射点位于所述可行驶区域的所述路面区域的情况下，将所述待涂色的三维地面点的颜色设置为第一预设颜色，在所述目标映射点位于所述可行驶区域的所述非路面区域的情况下，将所述待涂色的三维地面点的颜色设置为第二预设颜色，以生成所述可行驶区域占位路面，所述目标映射点为所述待涂色的三维地面点对应的所述映射点。

4.根据权利要求1所述的方法，其特征在于，在将所述三维道路边界点云的颜色设置为目标颜色之前，所述方法还包括：

提取所述三维道路边界点云中的中心点，获得第一线状道路边界点云；

以所述第一线状道路边界点云为中心，向两边拓宽预设距离，获得第二线状道路边界点云；

为所述第二线状道路边界点云中每个边界点增加目标高度，获得第三线状道路边界点云；

所述将所述三维道路边界点云的颜色设置为目标颜色包括：

将第三线状道路边界点云的颜色设置为目标颜色。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述获取根据三维地面点云生成的三维路面，包括：

根据二维网格化后的所述矢量语义地图中每个二维网格内的三维地面点数量，从所述二维网格中筛选出特定二维网格；

对每个所述特定二维网格内所述三维地面点按照高度进行聚类，获得每个所述特定二维网格内包含的第一目标曲面，所述第一目标曲面为三维曲面；

将所述第一目标曲面确定为所述三维路面。

6.根据权利要求5所述的方法，其特征在于，在所述将所述第一目标曲面确定为所述三维路面之前，所述方法还包括：

针对每个待拟合第一目标曲面，根据所述待拟合第一目标曲面内的所述三维地面点和与所述待拟合第一目标曲面连接的至少一个其他第一目标曲面内的所述三维地面点，对所述待拟合第一目标曲面进行二次曲面拟合，获得所述待拟合第一目标曲面对应的第二目标曲面，其中，所述待拟合第一目标曲面为待进行二次曲面拟合的所述第一目标曲面，各个所述第一目标曲面的连接关系根据各个所述第一目标曲面对应的所述特定二维网格之间的连接关系以及所述高度确定；

所述将所述第一目标曲面确定为所述三维路面，包括：

将所述第一目标曲面对应的所述第二目标曲面确定为所述三维路面。

7.根据权利要求5所述的方法，其特征在于，所述根据二维网格化后的所述矢量语义地图中每个二维网格内的三维地面点数量，从所述二维网格中筛选出特定二维网格，包括：

针对所述二维网格化后的所述矢量语义地图中每个待判断的二维网格，在所述待判断的二维网格内所述三维地面点数量大于或者等于目标数量阈值的情况下，确定所述待判断的二维网格为所述特定二维网格，在所述待判断的二维网格内所述三维地面点数量小于所述目标数量阈值的情况下，确定所述待判断的二维网格不是所述特定二维网格。

8.一种基于三维路面的道路边界生成装置，其特征在于，所述装置包括：

获取单元，用于获取根据三维地面点云生成的三维路面，所述三维地面点云包括根据相机位姿信息生成的三维地面点，所述相机位姿信息包括道路视频帧图像被采集时相机的位姿，所述相机为采集车上安装的相机；

投射单元，用于分别将每帧所述道路视频帧图像中可行驶区域的静态边界点投射到所述三维路面，获得投影点，所述投影点为三维地面点云中的所述三维地面点；

聚类单元，用于对所述投影点进行聚类获得三维道路边界点云；

设置单元，用于将所述三维道路边界点云的颜色设置为目标颜色，以突出显示所述三维路面的道路边界。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：第一丢弃单元和/或第二丢弃单元；

所述第一丢弃单元，用于在所述对所述投影点进行聚类获得三维道路边界点云之前，将目标距离大于或者等于距离阈值的所述投影点进行丢弃，所述目标距离为所述道路视频帧图像中的所述静态边界点向所述三维路面的投射距离；

所述第二丢弃单元，用于将位于可行驶区域占位路面的路面区域内的所述投影点进行丢弃，所述可行驶区域占位路面为根据所述三维路面生成的、用于区别显示路面区域和非路面区域的路面。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

确定单元，用于在所述将位于可行驶区域占位路面的路面区域内的所述投影点进行丢弃之前，通过坐标系转换确定所述三维地面点云中每个三维地面点在目标道路视频帧图像中的映射点，所述目标道路视频帧图像为获得所述三维地面点所使用的相机位姿信息所对应的道路视频帧图像；

生成单元，用于针对每个待涂色的三维地面点，在目标映射点位于所述可行驶区域的所述路面区域的情况下，将所述待涂色的三维地面点的颜色设置为第一预设颜色，在所述目标映射点位于所述可行驶区域的所述非路面区域的情况下，将所述待涂色的三维地面点的颜色设置为第二预设颜色，以生成所述可行驶区域占位路面，所述目标映射点为所述待涂色的三维地面点对应的所述映射点。

11.根据权利要求8所述的装置，其特征在于，所述装置还包括：

提取单元，用于在将所述三维道路边界点云的颜色设置为目标颜色之前，提取所述三维道路边界点云中的中心点，获得第一线状道路边界点云；

拓宽单元，用于以所述第一线状道路边界点云为中心，向两边拓宽预设距离，获得第二线状道路边界点云；

增加单元，用于为所述第二线状道路边界点云中每个边界点增加目标高度，获得第三线状道路边界点云；

所述设置单元，用于将第三线状道路边界点云的颜色设置为目标颜色。

12.根据权利要求8-11中任一项所述的装置，其特征在于，所述获取单元，包括：

筛选模块，用于根据二维网格化后的所述矢量语义地图中每个二维网格内的三维地面点数量，从所述二维网格中筛选出特定二维网格；

聚类模块，用于对每个所述特定二维网格内所述三维地面点按照高度进行聚类，获得每个所述特定二维网格内包含的第一目标曲面，所述第一目标曲面为三维曲面；

确定模块，用于将所述第一目标曲面确定为所述三维路面。

13.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

14.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述电子设备实现如权利要求1-7中任一项所述的方法。

15.一种车辆，其特征在于，所述车辆包含如权利要求8-12中任一项所述的装置，或者包含如权利要求14所述的电子设备。