CN117351159A - 三维路面生成方法、装置、存储介质、电子设备及车辆 - Google Patents

三维路面生成方法、装置、存储介质、电子设备及车辆 Download PDF

Info

Publication number
CN117351159A
CN117351159A CN202210739596.1A CN202210739596A CN117351159A CN 117351159 A CN117351159 A CN 117351159A CN 202210739596 A CN202210739596 A CN 202210739596A CN 117351159 A CN117351159 A CN 117351159A
Authority
CN
China
Prior art keywords
dimensional
target
color
point
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210739596.1A
Other languages
English (en)
Inventor
刘瑀璋
齐航
唐志雄
单乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chusudu Technology Co ltd
Original Assignee
Beijing Chusudu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chusudu Technology Co ltd filed Critical Beijing Chusudu Technology Co ltd
Priority to CN202210739596.1A priority Critical patent/CN117351159A/zh
Publication of CN117351159A publication Critical patent/CN117351159A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Abstract

本申请公开一种三维路面生成方法、装置、存储介质、电子设备及车辆，能够解决基于激光雷达生成三维网格路面成本较高、显示效果差的问题。该方法包括：获取根据三维地面点云生成的初始三维路面，三维地面点云包括根据相机位姿信息生成的三维地面点和根据车道线信息生成的三维地面点，相机位姿信息包括对应视频帧图像被采集时相机的位姿，视频帧图像包括车道线；通过坐标系转换确定三维地面点云中每个三维地面点在目标视频帧图像中的映射点，目标视频帧图像为获得三维地面点所使用的相机位姿信息所对应的视频帧图像；根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在三维路面中的颜色，以生成目标三维路面。

Description

三维路面生成方法、装置、存储介质、电子设备及车辆
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种三维路面生成方法、装置、存储介质、电子设备及车辆。
背景技术
电子地图是利用计算机技术，以数字方式存储和查阅的地图。人们在步行、骑行或者驾驶时，均可以通过查阅电子地图来获取去往目的地的路线，并且还可以通过开启智能导航功能实时导航。为了提高用户体验以及提高电子地图查询的准确度，已逐渐从二维电子地图发展为三维电子地图。生成三维电子地图最关键的环节之一就是生成三维路面。相关技术中，主要依靠激光雷达采集路网三维点，并从路网三维点中提取路面三维点，基于路面三维点生成三维网格路面。然而，基于激光雷达生成三维网格路面不但成本较高，而且路面显示效果差。
发明内容
本申请提供了一种三维路面生成方法、装置、存储介质、电子设备及车辆，能够解决基于激光雷达生成三维网格路面成本较高、显示效果差的问题。
具体的技术方案如下：
第一方面，本申请实施例提供了一种三维路面生成方法，方法包括：
获取根据三维地面点云生成的初始三维路面，三维地面点云包括根据相机位姿信息生成的三维地面点和根据车道线信息生成的三维地面点，相机位姿信息包括对应视频帧图像被采集时相机的位姿，相机为采集车上安装的相机，视频帧图像包括车道线；
通过坐标系转换确定三维地面点云中每个三维地面点在目标视频帧图像中的映射点，目标视频帧图像为获得三维地面点所使用的相机位姿信息所对应的视频帧图像；
根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在三维路面中的颜色，以生成目标三维路面。
通过上述方案可知，本申请实施例可以根据采集车相机生成的视频帧图像对应的相机位姿信息和车道线信息生成三维地面点云，并根据三维地面点云生成初始三维路面，从而实现基于纯视觉的路面生成过程，而无需依赖昂贵的激光雷达，进而可以降低成本。在生成初始三维路面之后，还可以通过将三维地面点云中每个三维地面点映射到目标视频帧图像中获得映射点，并根据映射点的颜色和位置来确定与映射点对应的三维地面点在三维路面中的颜色，从而提高了三维路面着色的准确性，增强了三维路面的显示效果。
在第一方面的第一种可能的实现方式中，当目标三维路面包括彩色三维路面或者语义分割三维路面时，根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在三维路面中的颜色，以生成目标三维路面包括：
针对每个待着色的三维地面点，在目标映射点在目标视频帧图像中的位置位于目标区域内的情况下，根据目标映射点的颜色设置待着色的三维地面点的颜色，以生成目标三维路面；
其中，目标映射点为待着色的三维地面点对应的映射点，目标区域包括由可行驶边界和采集车车盖线围成的区域，当目标三维路面为彩色三维路面时，视频帧图像为原始彩色图像，当目标三维路面为语义分割三维路面时，视频帧图像为通过对原始彩色图像进行地面语义分割后的语义分割图像。
通过上述方案可知，本申请实施例不仅可以根据由可行驶边界和采集车车盖线围成的目标区域选择用于着色的目标映射点，从而提高三维路面着色的准确性，还可以针对不同需求生成不同种类的目标三维路面，如可以根据原始彩色图像生成与现实世界相同的彩色三维路面，根据语义分割图像生成语义分割三维路面，从而向用户直观展示彩色三维路面或语义分割三维路面。
在第一方面的第二种可能的实现方式中，根据目标映射点的颜色设置待着色的三维地面点的颜色包括：
将待着色的三维地面点的颜色设置为目标映射点的颜色；或者，
对目标映射点所在的目标视频帧图像的目标区域进行颜色归一化，将待着色的三维地面点的颜色设置为颜色归一化后的目标映射点的颜色。
通过上述方案可知，本申请实施例可以直接将待着色的三维地面点的颜色设置为目标映射点的颜色，也可以先对目标映射点所在的目标视频帧图像的目标区域进行颜色归一化，再将待着色的三维地面点的颜色设置为颜色归一化后的目标映射点的颜色。其中，颜色归一化可以保证在晚上、白天、阴天、晴天等不同天气环境下计算出来的颜色尽可能一致，而不受天气环境的影响。
在第一方面的第三种可能的实现方式中，当待着色的三维地面点对应的目标视频帧图像包括多帧，待着色的三维地面点对应的目标映射点包括多个时，将待着色的三维地面点的颜色设置为目标映射点的颜色包括：根据待着色的三维地面点与多个目标映射点中每个目标映射点之间的映射距离，对多个目标映射点的颜色进行加权计算，并将待着色的三维地面点的颜色设置为加权后的颜色；和/或，
将待着色的三维地面点的颜色设置为颜色归一化后的目标映射点的颜色，包括：根据待着色的三维地面点与多个颜色归一化后的目标映射点中每个颜色归一化后的目标映射点之间的映射距离，对多个颜色归一化后的目标映射点的颜色进行加权计算，并将待着色的三维地面点的颜色设置为加权后的颜色。
通过上述方案可知，当待着色的三维地面点对应的目标视频帧图像包括多帧，待着色的三维地面点对应的目标映射点包括多个时，可以通过映射距离加权计算待着色的三维地面点的颜色，从而提高了三维路面着色的准确性。
在第一方面的第四种可能的实现方式中，当目标三维路面包括可行驶区域占位三维路面时，根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在三维路面中的颜色，以生成目标三维路面，包括：
针对每个待着色的三维地面点，在目标映射点位于目标区域的路面区域的情况下，将待着色的三维地面点的颜色设置为第一颜色，在目标映射点位于目标区域的非路面区域的情况下，将待着色的三维地面点的颜色设置为第二颜色，以生成目标三维路面。
通过上述方案可知，本申请实施例可以通过判断目标映射点在目标区域的路面区域还是非路面区域，可以生成用于区分显示路面区域和非路面区域的可行驶区域占位三维路面，从而可以实现基于可行驶区域占位三维路面对其他途径生成的三维地图进行修正等功能。
在第一方面的第五种可能的实现方式中，在通过坐标系转换确定三维地面点云中每个三维地面点在目标视频帧图像中的映射点之前，方法还包括：
将初始三维路面划分为多个初始三维路面段；
通过坐标系转换确定三维地面点云中每个三维地面点在目标视频帧图像中的映射点，根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在三维路面中的颜色，以生成目标三维路面包括：
通过坐标系转换确定初始三维路面段中每个三维地面点在目标视频帧图像中的映射点，根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在初始三维路面段中的颜色，以生成目标三维路面段，将多个目标三维路面段进行合并，获得目标三维路面。
在第一方面的第六种可能的实现方式中，获取根据三维地面点云生成的初始三维路面，包括：
根据二维网格化后的矢量语义地图中每个二维网格内的三维地面点数量，从二维网格中筛选出第一二维网格；
对每个第一二维网格内三维地面点按照高度进行聚类，获得每个第一二维网格内包含的第一曲面，第一曲面为三维曲面；
将第一曲面确定为初始三维路面。
在第一方面的第七种可能的实现方式中，在将第一曲面确定为初始三维路面之前，方法还包括：
针对每个待拟合第一曲面，根据待拟合第一曲面内的三维地面点和与待拟合第一曲面连接的至少一个其他第一曲面内的三维地面点，对待拟合第一曲面进行二次曲面拟合，获得待拟合第一曲面对应的第二曲面，其中，待拟合第一曲面为待进行二次曲面拟合的第一曲面，各个第一曲面的连接关系根据各个第一曲面对应的第一二维网格之间的连接关系以及高度确定；
将第一曲面确定为初始三维路面，包括：
将第一曲面对应的第二曲面确定为初始三维路面。
在第一方面的第八种可能的实现方式中，在将第一曲面对应的第二曲面确定为初始三维路面之后，方法还包括：
当同一个第一二维网格内存在至少两个第二曲面时，针对至少两个第二曲面中相邻两个第二曲面，若相邻两个第二曲面的平均高度之差小于或者等于第一高度差阈值，则将相邻两个第二曲面中三维地面点数量最小的第二曲面删除，并将与被删除的第二曲面连接的第二曲面删除，其中，各个第二曲面的连接关系根据高度以及各个第二曲面对应的第一二维网格之间的连接关系确定。
第二方面，本申请实施例提供了一种三维路面生成装置，装置包括：
获取单元，用于获取根据三维地面点云生成的初始三维路面，三维地面点云包括根据相机位姿信息生成的三维地面点和根据车道线信息生成的三维地面点，每个相机位姿信息包括对应视频帧图像被采集时相机的位姿，相机为采集车上安装的相机，视频帧图像包括车道线；
确定单元，用于通过坐标系转换确定三维地面点云中每个三维地面点在目标视频帧图像中的映射点，目标视频帧图像为获得三维地面点所使用的相机位姿信息所对应的视频帧图像；
生成单元，用于根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在三维路面中的颜色，以生成目标三维路面。
通过上述方案可知，本申请实施例可以根据采集车相机生成的视频帧图像对应的相机位姿信息和车道线信息生成三维地面点云，并根据三维地面点云生成初始三维路面，从而实现基于纯视觉的路面生成过程，而无需依赖昂贵的激光雷达，进而可以降低成本。在生成初始三维路面之后，还可以通过将三维地面点云中每个三维地面点映射到目标视频帧图像中获得映射点，并根据映射点的颜色和位置来确定与映射点对应的三维地面点在三维路面中的颜色，从而提高了三维路面着色的准确性，增强了三维路面的显示效果。
在第二方面的第一种可能的实现方式中，生成单元包括：
第一生成模块，用于当目标三维路面包括彩色三维路面或者语义分割三维路面时，针对每个待着色的三维地面点，在目标映射点在目标视频帧图像中的位置位于目标区域内的情况下，根据目标映射点的颜色设置待着色的三维地面点的颜色，以生成目标三维路面；
其中，目标映射点为待着色的三维地面点对应的映射点，目标区域包括由可行驶边界和采集车车盖线围成的区域，当目标三维路面为彩色三维路面时，视频帧图像为原始彩色图像，当目标三维路面为语义分割三维路面时，视频帧图像为通过对原始彩色图像进行地面语义分割后的语义分割图像。
在第二方面的第二种可能的实现方式中，第一生成模块，用于将待着色的三维地面点的颜色设置为目标映射点的颜色；或者，对目标映射点所在的目标视频帧图像的目标区域进行颜色归一化，将待着色的三维地面点的颜色设置为颜色归一化后的目标映射点的颜色。
在第二方面的第三种可能的实现方式中，第一生成模块，用于当待着色的三维地面点对应的目标视频帧图像包括多帧，待着色的三维地面点对应的目标映射点包括多个时，根据待着色的三维地面点与多个目标映射点中每个目标映射点之间的映射距离，对多个目标映射点的颜色进行加权计算，并将待着色的三维地面点的颜色设置为加权后的颜色；和/或，
根据待着色的三维地面点与多个颜色归一化后的目标映射点中每个颜色归一化后的目标映射点之间的映射距离，对多个颜色归一化后的目标映射点的颜色进行加权计算，并将待着色的三维地面点的颜色设置为加权后的颜色。
在第二方面的第四种可能的实现方式中，生成单元包括：
第二生成模块，用于当目标三维路面包括可行驶区域占位三维路面时，针对每个待着色的三维地面点，在目标映射点位于目标区域的路面区域的情况下，将待着色的三维地面点的颜色设置为第一颜色，在目标映射点位于目标区域的非路面区域的情况下，将待着色的三维地面点的颜色设置为第二颜色，以生成目标三维路面。
在第二方面的第五种可能的实现方式中，装置还包括：
划分单元，用于在通过坐标系转换确定三维地面点云中每个三维地面点在目标视频帧图像中的映射点之前，将初始三维路面划分为多个初始三维路面段；
生成单元，用于通过坐标系转换确定初始三维路面段中每个三维地面点在目标视频帧图像中的映射点，根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在初始三维路面段中的颜色，以生成目标三维路面段；
合并单元，用于将多个目标三维路面段进行合并，获得目标三维路面。
在第二方面的第六种可能的实现方式中，获取单元，包括：
筛选模块，用于根据二维网格化后的矢量语义地图中每个二维网格内的三维地面点数量，从二维网格中筛选出第一二维网格；
聚类模块，用于对每个第一二维网格内三维地面点按照高度进行聚类，获得每个第一二维网格内包含的第一曲面，第一曲面为三维曲面；
确定模块，用于将第一曲面确定为初始三维路面。
在第二方面的第七种可能的实现方式中，获取单元还包括：
拟合模块，用于在将第一曲面确定为初始三维路面之前，针对每个待拟合第一曲面，根据待拟合第一曲面内的三维地面点和与待拟合第一曲面连接的至少一个其他第一曲面内的三维地面点，对待拟合第一曲面进行二次曲面拟合，获得待拟合第一曲面对应的第二曲面，其中，待拟合第一曲面为待进行二次曲面拟合的第一曲面，各个第一曲面的连接关系根据各个第一曲面对应的第一二维网格之间的连接关系以及高度确定；
确定模块，用于将第一曲面对应的第二曲面确定为初始三维路面。
在第二方面的第八种可能的实现方式中，获取单元还包括：
删除模块，用于在将第一曲面对应的第二曲面确定为初始三维路面之后，当同一个第一二维网格内存在至少两个第二曲面时，针对至少两个第二曲面中相邻两个第二曲面，若相邻两个第二曲面的平均高度之差小于或者等于第一高度差阈值，则将相邻两个第二曲面中三维地面点数量最小的第二曲面删除，并将与被删除的第二曲面连接的第二曲面删除，其中，各个第二曲面的连接关系根据高度以及各个第二曲面对应的第一二维网格之间的连接关系确定。
第三方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一可能的实现方式所述的方法。
第四方面，本申请实施例提供了一种电子设备，电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得电子设备实现如第一方面任一可能的实现方式所述的方法。
第五方面，本申请实施例提供了一种车辆，车辆包含如第二方面任一可能的实现方式所述的装置，或者包含如第四方面所述的电子设备。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种三维路面生成方法的流程示意图；
图2为本申请实施例提供的一种语义分割三维路面的示例图；
图3为本申请实施例提供的一种可行驶区域占位三维路面的示例图；
图4为本申请实施例提供的一种目标区域的示意图；
图5为本申请实施例提供的一种三维路面生成装置的组成框图；
图6为本申请实施例提供的一种车辆的组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本申请实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
图1为一种三维路面生成方法的流程示意图，该方法可以应用于电子设备或计算机设备，具体可以应用于车辆或者服务器，该方法可以包括如下步骤：
S110：获取根据三维地面点云生成的初始三维路面。
三维地面点云包括根据相机位姿信息生成的三维地面点和根据车道线信息生成的三维地面点。其中，相机位姿信息和车道线信息存储在矢量语义地图中，可以分别将相机位姿信息到矢量语义地图中地面的每个垂点和矢量语义地图中车道线信息的每个采样点作为三维地面点。每个相机位姿信息包括对应视频帧图像被采集时相机的位姿，相机为采集车上安装的相机，视频帧图像包括车道线，矢量语义地图中的车道线信息包括用于描述车道线的车道线坐标点集合。相机位姿信息可以是经过采集车多趟采集和/或经过抽稀过的，并保留合理数据量的位姿信息。相机位姿包括相机位置和相机姿势。在实际应用中，相机位姿信息可以直接以数据形式存储在矢量语义地图，也可以以相机图标形式存储在矢量语义地图中。本申请实施例对相机在采集车上的安装位置和安装角度不做限定。
本申请实施例可以将相机位姿信息对应的对地参数向量与地面的交点确定为垂点；按照预设采样频率对车道线信息进行采样，获得多个采样点；将矢量语义地图中包含的垂点和采样点确定为地面点云。对地参数向量是一个三维向量，方向为相机坐标系下垂直于地面，模长为相机到地面的高度。此外，对车道线进行采样的预设采样频率可以根据实际需求设定。
在建立矢量语义地图的过程中，可以同时调整相机位姿信息和车道线的位置，如采用BA(Bundle Adjustment，集束调整)技术进行调整，所以矢量语义建图的结果中，相机位姿信息和车道线信息的位置是一致且统一的，即二者达到了投影误差最小的局部最优解，他们之间的相对位置关系是非常准确的。初始建立的矢量语义地图中除了包括相机位姿信息、车道线信息外，还包括其他地图要素，如牌杆箭头、路面地标等。在获得初始的矢量语义地图后，可以先过滤掉所有围栏外的地图要素及相机位姿信息，保留围栏内的相机位姿信息和车道线信息。
矢量语义地图的建立方法包括但不限于如下方法：
(1)获取采集车在同一位置区域中多次行驶时相机(采集车上安装的相机)采集的多组道路图像，以及每组道路图像中的每帧道路图像被采集时相机的位姿(下述简称相机位姿信息)。
其中，位置区域可以为一条道路或者一条道路中的一段等。当采集车每次从同一位置区域的一端行驶至另一端的过程中，相机采集的多帧道路图像构成一组道路图像。当采集车X次在同一位置区域中行驶时，可以得到第一组道路图像、第二组道路图像……第X组道路图像，每组道路图像中包括多帧道路图像。道路图像为上述视频帧图像。
在相机采集每帧道路图像时，可以根据采集车中设置的IMU(InertialMeasurement Unit，惯性测量单元)和/或GPS(Global Positioning System，全球定位系统)采集的数据进行定位，并结合相机的安装位置，确定在采集该道路图像时的相机位姿信息。
(2)对每帧道路图像中的道路交通标志进行特征检测，得到每帧道路图像中的语义特征。
其中，道路交通标志可以包括车道线、路灯杆、交通牌、道路边缘线、停止线、地面标识和红绿灯等。每帧道路图像中的语义特征，可以为一个或者多个。例如，一帧道路图像中，可以包括一个交通牌的语义特征和一个车道线的语义特征等。
(3)根据每帧道路图像中的语义特征，对各组道路图像之间进行数据关联，得到各组道路图像之间属于同一道路交通标志的关联语义特征，并确定关联语义特征在地图坐标系中的第一位置。
其中，各组道路图像之间属于同一道路交通标志的关联语义特征的种类可以为一个或者多个。例如，针对同一路段的3组道路图像中均存在车道线1、车道线2、车道线3的语义特征，则车道线1、车道线2和车道线3，均可以确定为关联语义特征，即关联语义特征包括3个，并采用不同的身份标识码标识。
(4)根据第一位置以及每帧道路图像对应的相机位姿信息，确定关联语义特征与每帧道路图像中对应的语义特征之间的重投影误差，并确定各个重投影误差之间的投影误差和值，根据投影误差和值，确定关联语义特征在地图坐标系中的第二位置。
第一位置可以理解为关联语义特征的初始位置，该初始位置的准确性还不够高。为了确定关联语义特征更准确的第二位置，本步骤中可以确定关联语义特征与每帧道路图像中对应的语义特征之间的重投影误差，进而确定第二位置。
本步骤的每帧道路图像包括所有组道路图像中的每帧道路图像。其中，道路图像中对应的语义特征，可以理解为，道路图像中与关联语义特征对应的语义特征，即道路图像中与关联语义特征属于同一道路交通标志的语义特征。上述针对一帧道路图像确定的重投影误差，可以理解为，关联语义特征与道路图像中对应的语义特征之间在同一坐标系中时的位置差异。
例如，针对同一路段的4组道路图像中均存在车道线1，该车道线1即为关联语义特征。4组道路图像中，第一组道路图像中有15帧道路图像中存在车道线1，第二组道路图像中有20帧道路图像中存在车道线1，第三组道路图像中有20帧图像中存在车道线1，第四组道路图像中有25帧图像中存在车道线1。在确定该关联语义特征(车道线1)的第二位置时，可以根据第一位置以及上述包括车道线1的道路图像对应的相机位姿信息，确定该关联语义特征分别与上述80帧道路图像中的车道线1的语义特征之间的重投影误差，并求和。
(5)根据关联语义特征、第二位置、相机位姿信息，生成矢量语义地图。
本步骤中，具体可以是将关联语义特征和第二位置之间的对应关系、相机位姿信息添加至已有矢量地图中，生成矢量语义地图。
上述矢量语义地图的建立方法中多组道路图像是采集车在同一位置区域中多次行驶时采集得到的，相机能够从不同角度采集到同一道路交通标志，基于在大量道路图像中的重投影所得到的关联语义特征的位置，相比于基于一次行驶过程中获取的数据，本申请实施例能够提高所确定的关联语义特征的位置的准确性，进而提高构建的矢量语义地图的准确性。
S120：通过坐标系转换确定三维地面点云中每个三维地面点在目标视频帧图像中的映射点。
目标视频帧图像为获得三维地面点所使用的相机位姿信息所对应的视频帧图像。当三维地面点为根据相机位姿信息生成的三维地面点时，该映射点为车道上的点；当三维地面点为根据车道线信息生成的三维地面点时，该映射点为车道线上的点。
三维地面点在地图坐标系中，视频帧图像中的像素点在图像坐标系中，所以可以通过坐标系转换，将地图坐标系中的三维地面点转换到图像坐标系，得到图像坐标系中映射点的坐标。
具体的，可以通过如下公式直接计算映射点的坐标：q＝K*(Tcw*p)，其中，K为相机内参矩阵，Tcw为用于表示相机位姿信息的位姿变换矩阵，p为三维地面点的坐标，q为目标视频帧图像中映射点的坐标。其中，如下所述，Tcw可以为4*4大小的矩阵，其中，左上3*3为相机旋转矩阵，右上3*1为相机平移矩阵，左下1*3为0，右下1*1为1。
需要补充的是，当视频帧图像存在畸变时，可以先对目标视频帧图像去畸变，再进行坐标系转换，但是去畸变比较耗时。为了提高效率，可以预先设置一个畸变映射表，该畸变映射表包括带畸变和不带畸变的坐标对应关系，从而当通过坐标系转换获得映射点后，可以将该映射点的坐标+畸变坐标，获得步骤S130所需的映射点的坐标。
S130：根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在三维路面中的颜色，以生成目标三维路面。
在实际应用中，可以根据不同需求生成不同种类的目标三维路面，如目标三维路面包括彩色三维路面、语义分割三维路面、可行驶区域占位三维路面等。其中，彩色三维路面是现实世界的路面颜色相同的路面；如图2所示，语义分割三维路面是语义分割出路面标识部分和非标识部分的三维路面，路面标识是指路面上用线条、箭头、文字等向交通参与者传递引导、限制、警告等交通信息的标识；如图3所示，可行驶区域占位三维路面为用于区别显示可行驶区域和不可行驶区域的三维路面。
下面针对这三种目标三维路面的生成方法进行阐述：
(一)彩色三维路面或者语义分割三维路面
当目标三维路面包括彩色三维路面或者语义分割三维路面时，本步骤的具体实现方式包括：针对每个待着色的三维地面点，在目标映射点在目标视频帧图像中的位置位于目标区域内的情况下，根据目标映射点的颜色设置待着色的三维地面点的颜色，以生成目标三维路面；其中，目标映射点为待着色的三维地面点对应的映射点，目标区域包括由可行驶边界和采集车车盖线围成的区域，当目标三维路面为彩色三维路面时，视频帧图像为原始彩色图像，当目标三维路面为语义分割三维路面时，视频帧图像为通过对原始彩色图像进行地面语义分割后的语义分割图像，语义分割图像是指将路面标识设置成一种颜色，将非路面标识设置成一种颜色后的图像，如该语义分割图像中，路面标识是白色，其他均为黑色。
如图4所示，目标区域包括由可行驶边界和采集车车盖线围成的区域，可行驶边界包括静态可行驶边界和动态可行驶边界，静态可行驶边界包括道路围栏等用于区分道路与非道路的固定分界线，动态可行驶边界为采集车前方车辆尾部边缘。
需要补充的是，本申请实施例可以基于神经网络模型识别目标区域，该神经网络模型可以根据包括可行驶边界标记和采集车车盖线标记的大量图像训练而成。
本申请实施例不仅可以根据由可行驶边界和采集车车盖线围成的目标区域选择用于着色的目标映射点，从而提高三维路面着色的准确性，还可以针对不同需求生成不同种类的目标三维路面，如可以根据原始彩色图像生成与现实世界相同的彩色三维路面，根据语义分割图像生成语义分割三维路面，从而向用户直观展示彩色三维路面或语义分割三维路面。此外，在需要对路面要素(如车道线、虚线段、边缘线、路面箭头、停止线、人行道、导流带)进行质量检查，或者部分路面(如导流带)要求需要人工添加时，基于彩色三维路面或语义分割三维路面进行质量检查、修正或添加可以提高准确性和操作效率。
在一种实施方式中，根据目标映射点的颜色设置待着色的三维地面点的颜色的具体实现方式包括但不限于以下两种：
第一种：将待着色的三维地面点的颜色设置为目标映射点的颜色。
当待着色的三维地面点对应的目标视频帧图像包括单帧，待着色的三维地面点对应的目标映射点包括1个时，可以直接将目标映射点的颜色作为待着色的三维地面点的颜色。
由于采集车在采集视频帧图像时，可能会在同一条车道行驶多趟，所以同一个三维地面点对应的目标视频帧图像可能包括多帧，从而导致同一个三维地面点对应的目标映射点可能包括多个。在这种情况下，为了提高三维路面的着色准确性，可以当待着色的三维地面点对应的目标视频帧图像包括多帧，待着色的三维地面点对应的目标映射点包括多个时，根据待着色的三维地面点与多个目标映射点中每个目标映射点之间的映射距离，对多个目标映射点的颜色进行加权计算，并将待着色的三维地面点的颜色设置为加权后的颜色。其中，映射距离与权重成反比，即映射距离越大，权重越小。
第二种：对目标映射点所在的目标视频帧图像的目标区域进行颜色归一化，将待着色的三维地面点的颜色设置为颜色归一化后的目标映射点的颜色。
当待着色的三维地面点对应的目标视频帧图像包括单帧，待着色的三维地面点对应的目标映射点包括1个时，可以直接将颜色归一化后的目标映射点的颜色作为待着色的三维地面点的颜色。
当待着色的三维地面点对应的目标视频帧图像包括多帧，待着色的三维地面点对应的目标映射点包括多个时，可以根据待着色的三维地面点与多个颜色归一化后的目标映射点中每个颜色归一化后的目标映射点之间的映射距离，对多个颜色归一化后的目标映射点的颜色进行加权计算，并将待着色的三维地面点的颜色设置为加权后的颜色。其中，映射距离与权重成反比，即映射距离越大，权重越小。
颜色归一化的公式可以为：颜色归一化后的目标映射点的颜色＝颜色归一化前的目标映射点的颜色-该目标映射点所在目标视频帧图像的平均颜色+预设固定值。其中，预设固定值可以为经验值。
本申请实施例将颜色归一化后的目标映射点的颜色作为三维地面点的颜色，可以保证在晚上、白天、阴天、晴天等不同天气环境下计算出来的颜色尽可能一致，而不受天气环境的影响。如，即使根据晚上采集的视频帧图像生成目标三维路面，也可以实现与白天一样的显示效果。
(二)可行驶区域占位三维路面
当目标三维路面包括可行驶区域占位三维路面时，本步骤的具体实现方式包括：针对每个待着色的三维地面点，在目标映射点位于目标区域的路面区域的情况下，将待着色的三维地面点的颜色设置为第一颜色，在目标映射点位于目标区域的非路面区域的情况下，将待着色的三维地面点的颜色设置为第二颜色，以生成目标三维路面。
其中，第一颜色和第二颜色为不同的颜色，例如第一颜色为白色，第二颜色为黑色。路面区域为可供车辆、行人等行驶的路面，非路面区域为静态可行驶边界。
上述方案通过判断目标映射点在目标区域的路面区域还是非路面区域，可以生成用于区分显示路面区域和非路面区域的可行驶区域占位三维路面，从而可以实现基于可行驶区域占位三维路面对其他途径生成的三维地图进行修正等功能。
本申请实施例提供的三维路面生成方法，可以根据采集车相机生成的视频帧图像对应的相机位姿信息和车道线信息生成三维地面点云，并根据三维地面点云生成初始三维路面，从而实现基于纯视觉的路面生成过程，而无需依赖昂贵的激光雷达，进而可以降低成本。在生成初始三维路面之后，还可以通过将三维地面点云中每个三维地面点映射到目标视频帧图像中获得映射点，并根据映射点的颜色和位置来确定与映射点对应的三维地面点在三维路面中的颜色，从而提高了三维路面着色的准确性，增强了三维路面的显示效果。
在一种实施方式中，在通过坐标系转换确定三维地面点云中每个三维地面点在目标视频帧图像中的映射点之前，可以先将初始三维路面划分为多个初始三维路面段；之后通过坐标系转换确定初始三维路面段中每个三维地面点在目标视频帧图像中的映射点，根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在初始三维路面段中的颜色，以生成目标三维路面段，将多个目标三维路面段进行合并，获得目标三维路面。
其中，在将初始三维路面划分为多个初始三维路面段时，可以基于广度优先算法以及生成初始三维路面时建立好的网格之间的连接关系(详见后续初始三维路面的生成过程)，对初始三维路面进行划分，使得各个初始三维路面段所包含的网格数量相近。
本申请实施例通过将初始三维路面划分为多个初始三维路面段分别进行着色，可以保证程序运行使用资源稳定。
在一种实施方式中，获取根据三维地面点云生成的初始三维路面可以通过步骤A1-A3实现：
A1、根据二维网格化后的矢量语义地图中每个二维网格内的三维地面点数量，从二维网格中筛选出第一二维网格。
二维网格可以为矩形、三角形或者其他多边形，本申请实施例对二维网格的划分形状不做限定。且二维网格涉及的维度是水平面上的维度，即每个二维网格可看做一个M*N水平大小，垂直高度无限的柱形空间。
针对二维网格化后的矢量语义地图中每个待判断的二维网格，在待判断的二维网格内三维地面点数量大于或者等于预置数量阈值的情况下，确定待判断的二维网格为第一二维网格，在待判断的二维网格内三维地面点数量小于预置数量阈值的情况下，确定待判断的二维网格不是第一二维网格。其中，预置数量阈值可以根据实际经验确定，例如，可以根据第一二维网格进行拟合得到的第一曲面的拟合质量对预置数量阈值进行调整，最终得到满足拟合质量要求的第一曲面对应的预置数量阈值作为后续使用过程中所需的预置数量阈值。
A2、对每个第一二维网格内三维地面点按照高度进行聚类，获得每个第一二维网格内包含的第一曲面，第一曲面为三维曲面。
在对每个第一二维网格内三维地面点按照高度进行聚类后，可以在每个第一二维网格内生成至少一个第一曲面。当一个第一二维网格包括多个第一曲面时，可能存在立交桥。
A3、将第一曲面确定为初始三维路面。
在一种实施方式中，在将第一曲面确定为初始三维路面之前，本申请实施例可以先针对每个待拟合第一曲面，根据待拟合第一曲面内的三维地面点和与待拟合第一曲面连接的至少一个其他第一曲面内的三维地面点，对待拟合第一曲面进行二次曲面拟合，获得待拟合第一曲面对应的第二曲面，其中，待拟合第一曲面为待进行二次曲面拟合的第一曲面，各个第一曲面的连接关系根据各个第一曲面对应的第一二维网格之间的连接关系以及高度确定；再将第一曲面对应的第二曲面确定为初始三维路面。第二曲面也是三维曲面。
示例性的，假设矢量语义地图中的路面被划分为9个二维网格(可形象看作九宫格)，且这9个二维网格均为第一二维网格，那么先对每个第一二维网格内三维地面点按照高度进行聚类，获得每个第一二维网格内包含的第一曲面(为方便解释，下面称为三维网格)，为了进一步提高三维网格的光滑度和拟合质量，可以对每个三维网格进行二次拟合。例如，将9个二维网格一行行排序为1号-9号，当需要拟合5号三维网格的曲面方程时，可以根据5号三维网格内的三维地面点以及与5号三维网格连接的2号、4号、6号和8号三维网格的三维地面点，进行曲面拟合，作为5号三维网格的曲面方程。
本申请实施例通过结合与待拟合第一曲面连接的至少一个其他第一曲面内的三维地面点，对待拟合第一曲面进行二次拟合，可以进一步提高待拟合第一曲面与周围其他第一曲面之间衔接的光滑度，从而提高了三维路面的拟合质量。
在一种实施方式中，在实际应用中，常常因获取的三维地面点不准确而导致拟合出的初始三维路面存在飘飞的现象。为了解决该技术问题，在将第一曲面对应的第二曲面确定为初始三维路面之后，当同一个第一二维网格内存在至少两个第二曲面时，针对至少两个第二曲面中相邻两个第二曲面，若相邻两个第二曲面的平均高度之差小于或者等于第一高度差阈值，则将相邻两个第二曲面中三维地面点数量最小的第二曲面删除，并将与被删除的第二曲面连接的第二曲面删除，其中，各个第二曲面的连接关系根据高度以及各个第二曲面对应的第一二维网格之间的连接关系确定。
为了去除冗余的第二曲面，可以删除该相邻两个第二曲面中任一第二曲面，也可以将相邻两个第二曲面中三维地面点数量最小的第二曲面删除，即删除因飘飞的相机位姿信息生成的可信度较低的第二曲面，而保留可信度较高的第二曲面。并且由于与被删除的第二曲面连接的第二曲面同样也是不可信的、冗余的，所以还可以将与被删除的第二曲面连接的第二曲面删除。第一高度差阈值可以根据实际经验确定，例如，可以为0.5m。
下面对上述实施例里中提及的各个第一曲面的连接关系和/或各个第二曲面的连接关系的确定方法进行阐述：
先针对每个待处理目标曲面，确定与待处理目标曲面对应的第一二维网格连接的其他第一二维网格；再将每个其他第一二维网格内包含的目标曲面中与待处理目标曲面的平均高度之差最小且平均高度之差小于或者等于第二高度差阈值的目标曲面，确定为与待处理目标曲面具有连接关系的目标曲面，否则，不存在与该待处理目标曲面具有连接关系的目标曲面；其中，目标曲面包括第一曲面或者第二曲面。与待处理目标曲面对应的第一二维网格是指生成该待处理目标曲面时所基于的第一二维网格。对于每个其他第一二维网格内包含的至少一个目标曲面，该至少一个目标曲面中与待处理目标曲面的平均高度之差越小，与待处理目标曲面处于同一个水平面的可能性最大，因此可以将每个其他第一二维网格内包含的目标曲面中与待处理目标曲面的平均高度之差最小且平均高度之差小于或者等于第二高度差阈值的目标曲面，确定为与待处理目标曲面具有连接关系的目标曲面。第二高度差阈值根据实际经验确定，且第一高度差阈值与第二高度差阈值的取值可以相同，也可以不同。
相应于上述方法实施例，本申请的另一个实施例提供了一种三维路面生成装置，如图5所示，该装置包括：
获取单元20，用于获取根据三维地面点云生成的初始三维路面，三维地面点云包括根据相机位姿信息生成的三维地面点和根据车道线信息生成的三维地面点，相机位姿信息包括对应视频帧图像被采集时相机的位姿，相机为采集车上安装的相机，视频帧图像包括车道线；
确定单元22，用于通过坐标系转换确定三维地面点云中每个三维地面点在目标视频帧图像中的映射点，目标视频帧图像为获得三维地面点所使用的相机位姿信息所对应的视频帧图像；
生成单元24，用于根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在三维路面中的颜色，以生成目标三维路面。
在一种实施方式中，生成单元24包括：
第一生成模块，用于当目标三维路面包括彩色三维路面或者语义分割三维路面时，针对每个待着色的三维地面点，在目标映射点在目标视频帧图像中的位置位于目标区域内的情况下，根据目标映射点的颜色设置待着色的三维地面点的颜色，以生成目标三维路面；
其中，目标映射点为待着色的三维地面点对应的映射点，目标区域包括由可行驶边界和采集车车盖线围成的区域，当目标三维路面为彩色三维路面时，视频帧图像为原始彩色图像，当目标三维路面为语义分割三维路面时，视频帧图像为通过对原始彩色图像进行地面语义分割后的语义分割图像。
在一种实施方式中，第一生成模块，用于将待着色的三维地面点的颜色设置为目标映射点的颜色；或者，对目标映射点所在的目标视频帧图像的目标区域进行颜色归一化，将待着色的三维地面点的颜色设置为颜色归一化后的目标映射点的颜色。
在第二方面的第三种可能的实现方式中，第一生成模块，用于当待着色的三维地面点对应的目标视频帧图像包括多帧，待着色的三维地面点对应的目标映射点包括多个时，根据待着色的三维地面点与多个目标映射点中每个目标映射点之间的映射距离，对多个目标映射点的颜色进行加权计算，并将待着色的三维地面点的颜色设置为加权后的颜色；和/或，
根据待着色的三维地面点与多个颜色归一化后的目标映射点中每个颜色归一化后的目标映射点之间的映射距离，对多个颜色归一化后的目标映射点的颜色进行加权计算，并将待着色的三维地面点的颜色设置为加权后的颜色。
在一种实施方式中，生成单元24包括：
第二生成模块，用于当目标三维路面包括可行驶区域占位三维路面时，针对每个待着色的三维地面点，在目标映射点位于目标区域的路面区域的情况下，将待着色的三维地面点的颜色设置为第一颜色，在目标映射点位于目标区域的非路面区域的情况下，将待着色的三维地面点的颜色设置为第二颜色，以生成目标三维路面。
在一种实施方式中，装置还包括：
划分单元，用于在通过坐标系转换确定三维地面点云中每个三维地面点在目标视频帧图像中的映射点之前，将初始三维路面划分为多个初始三维路面段；
生成单元24，用于通过坐标系转换确定初始三维路面段中每个三维地面点在目标视频帧图像中的映射点，根据映射点在目标视频帧图像中的位置和/或颜色，设置与映射点对应的三维地面点在初始三维路面段中的颜色，以生成目标三维路面段；
合并单元，用于将多个目标三维路面段进行合并，获得目标三维路面。
在一种实施方式中，获取单元20，包括：
筛选模块，用于根据二维网格化后的矢量语义地图中每个二维网格内的三维地面点数量，从二维网格中筛选出第一二维网格；
聚类模块，用于对每个第一二维网格内三维地面点按照高度进行聚类，获得每个第一二维网格内包含的第一曲面，第一曲面为三维曲面；
确定模块，用于将第一曲面确定为初始三维路面。
在一种实施方式中，获取单元20还包括：
拟合模块，用于在将第一曲面确定为初始三维路面之前，针对每个待拟合第一曲面，根据待拟合第一曲面内的三维地面点和与待拟合第一曲面连接的至少一个其他第一曲面内的三维地面点，对待拟合第一曲面进行二次曲面拟合，获得待拟合第一曲面对应的第二曲面，其中，待拟合第一曲面为待进行二次曲面拟合的第一曲面，各个第一曲面的连接关系根据各个第一曲面对应的第一二维网格之间的连接关系以及高度确定；
确定模块，用于将第一曲面对应的第二曲面确定为初始三维路面。
在一种实施方式中，获取单元20还包括：
删除模块，用于在将第一曲面对应的第二曲面确定为初始三维路面之后，当同一个第一二维网格内存在至少两个第二曲面时，针对至少两个第二曲面中相邻两个第二曲面，若相邻两个第二曲面的平均高度之差小于或者等于第一高度差阈值，则将相邻两个第二曲面中三维地面点数量最小的第二曲面删除，并将与被删除的第二曲面连接的第二曲面删除，其中，各个第二曲面的连接关系根据高度以及各个第二曲面对应的第一二维网格之间的连接关系确定。
本申请实施例提供的三维路面生成装置，可以根据采集车相机生成的视频帧图像对应的相机位姿信息和车道线信息生成三维地面点云，并根据三维地面点云生成初始三维路面，从而实现基于纯视觉的路面生成过程，而无需依赖昂贵的激光雷达，进而可以降低成本。在生成初始三维路面之后，还可以通过将三维地面点云中每个三维地面点映射到目标视频帧图像中获得映射点，并根据映射点的颜色和位置来确定与映射点对应的三维地面点在三维路面中的颜色，从而提高了三维路面着色的准确性，增强了三维路面的显示效果。
基于上述方法实施例，本申请的另一实施例提供了一种存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现如上任一实施方式所述的方法。
基于上述方法实施例，本申请的另一实施例提供了一种电子设备或计算机设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得电子设备或计算机设备实现如上任一实施方式所述的方法。
基于上述方法实施例，本申请的另一实施例提供了车辆，该车辆包含如上任一实施方式所述的装置，或者包含如上所述的电子设备。
如图6所示，车辆包括相机30、IMU模块32、GPS模块34、ECU(Electronic ControlUnit，电子控制单元)36、T-Box(Telematics Box，远程信息处理器)38。其中，相机30用于采集车辆行驶过程中的道路图像，IMU模块32用于采集车辆的角速度和/或加速度等惯导信息；GPS模块34用于获取车辆的定位信息，ECU36可以执行上述三维路面生成方法，T-Box38可以作为网关与服务器进行通信。ECU36还可以获取相机30采集的道路图像、惯导信息、车辆的定位信息，并通过T-Box38将这些信息上报给服务器，以使得服务器根据这些信息生成矢量语义地图，并根据矢量语义地图生成三维路面。车辆还可以包括：V2X(Vehicle-to-Everything，车联网)模块。V2X模块用于与其他车辆、路侧设备等进行通信。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。

Claims (20)

1.一种三维路面生成方法，其特征在于，所述方法包括：
获取根据三维地面点云生成的初始三维路面，所述三维地面点云包括根据相机位姿信息生成的三维地面点和根据车道线信息生成的所述三维地面点，所述相机位姿信息包括对应视频帧图像被采集时相机的位姿，所述相机为采集车上安装的相机，所述视频帧图像包括车道线；
通过坐标系转换确定所述三维地面点云中每个所述三维地面点在目标视频帧图像中的映射点，所述目标视频帧图像为获得所述三维地面点所使用的相机位姿信息所对应的视频帧图像；
根据所述映射点在所述目标视频帧图像中的位置和/或颜色，设置与所述映射点对应的所述三维地面点在所述三维路面中的颜色，以生成目标三维路面。
2.根据权利要求1所述的方法，其特征在于，当所述目标三维路面包括彩色三维路面或者语义分割三维路面时，所述根据所述映射点在所述目标视频帧图像中的位置和/或颜色，设置与所述映射点对应的所述三维地面点在所述三维路面中的颜色，以生成目标三维路面包括：
针对每个待着色的三维地面点，在目标映射点在所述目标视频帧图像中的位置位于目标区域内的情况下，根据所述目标映射点的颜色设置所述待着色的三维地面点的颜色，以生成所述目标三维路面；
其中，所述目标映射点为所述待着色的三维地面点对应的所述映射点，所述目标区域包括由可行驶边界和所述采集车车盖线围成的区域，当所述目标三维路面为所述彩色三维路面时，所述视频帧图像为原始彩色图像，当所述目标三维路面为所述语义分割三维路面时，所述视频帧图像为通过对所述原始彩色图像进行地面语义分割后的语义分割图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标映射点的颜色设置所述待着色的三维地面点的颜色包括：
将所述待着色的三维地面点的颜色设置为所述目标映射点的颜色；或者，
对所述目标映射点所在的所述目标视频帧图像的所述目标区域进行颜色归一化，将所述待着色的三维地面点的颜色设置为颜色归一化后的所述目标映射点的颜色。
4.根据权利要求3所述的方法，其特征在于，当所述待着色的三维地面点对应的所述目标视频帧图像包括多帧，所述待着色的三维地面点对应的所述目标映射点包括多个时，所述将所述待着色的三维地面点的颜色设置为所述目标映射点的颜色包括：根据所述待着色的三维地面点与多个所述目标映射点中每个所述目标映射点之间的映射距离，对多个所述目标映射点的颜色进行加权计算，并将所述待着色的三维地面点的颜色设置为加权后的颜色；和/或，
所述将所述待着色的三维地面点的颜色设置为颜色归一化后的所述目标映射点的颜色，包括：根据所述待着色的三维地面点与多个颜色归一化后的所述目标映射点中每个颜色归一化后的所述目标映射点之间的映射距离，对多个颜色归一化后的所述目标映射点的颜色进行加权计算，并将所述待着色的三维地面点的颜色设置为加权后的颜色。
5.根据权利要求2所述的方法，其特征在于，当所述目标三维路面包括可行驶区域占位三维路面时，所述根据所述映射点在所述目标视频帧图像中的位置和/或颜色，设置与所述映射点对应的所述三维地面点在所述三维路面中的颜色，以生成目标三维路面，包括：
针对每个待着色的三维地面点，在所述目标映射点位于所述目标区域的路面区域的情况下，将所述待着色的三维地面点的颜色设置为第一颜色，在所述目标映射点位于所述目标区域的非路面区域的情况下，将所述待着色的三维地面点的颜色设置为第二颜色，以生成所述目标三维路面。
6.根据权利要求1所述的方法，其特征在于，在通过坐标系转换确定所述三维地面点云中每个所述三维地面点在目标视频帧图像中的映射点之前，所述方法还包括：
将初始三维路面划分为多个初始三维路面段；
通过坐标系转换确定所述三维地面点云中每个所述三维地面点在目标视频帧图像中的映射点，根据所述映射点在所述目标视频帧图像中的位置和/或颜色，设置与所述映射点对应的所述三维地面点在所述三维路面中的颜色，以生成目标三维路面包括：
通过所述坐标系转换确定所述初始三维路面段中每个所述三维地面点在所述目标视频帧图像中的所述映射点，根据所述映射点在所述目标视频帧图像中的位置和/或颜色，设置与所述映射点对应的所述三维地面点在所述初始三维路面段中的颜色，以生成目标三维路面段，将多个所述目标三维路面段进行合并，获得所述目标三维路面。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述获取根据三维地面点云生成的初始三维路面，包括：
根据二维网格化后的所述矢量语义地图中每个二维网格内的三维地面点数量，从所述二维网格中筛选出第一二维网格；
对每个所述第一二维网格内所述三维地面点按照高度进行聚类，获得每个所述第一二维网格内包含的第一曲面，所述第一曲面为三维曲面；
将所述第一曲面确定为所述初始三维路面。
8.根据权利要求7所述的方法，其特征在于，在所述将所述第一曲面确定为所述初始三维路面之前，所述方法还包括：
针对每个待拟合第一曲面，根据所述待拟合第一曲面内的所述三维地面点和与所述待拟合第一曲面连接的至少一个其他第一曲面内的所述三维地面点，对所述待拟合第一曲面进行二次曲面拟合，获得所述待拟合第一曲面对应的第二曲面，其中，所述待拟合第一曲面为待进行二次曲面拟合的所述第一曲面，各个所述第一曲面的连接关系根据各个所述第一曲面对应的所述第一二维网格之间的连接关系以及所述高度确定；
所述将所述第一曲面确定为所述初始三维路面，包括：
将所述第一曲面对应的所述第二曲面确定为所述初始三维路面。
9.根据权利要求8所述的方法，其特征在于，在所述将所述第一曲面对应的所述第二曲面确定为所述初始三维路面之后，所述方法还包括：
当同一个第一二维网格内存在至少两个所述第二曲面时，针对所述至少两个所述第二曲面中相邻两个所述第二曲面，若所述相邻两个所述第二曲面的平均高度之差小于或者等于第一高度差阈值，则将所述相邻两个所述第二曲面中所述三维地面点数量最小的所述第二曲面删除，并将与被删除的所述第二曲面连接的所述第二曲面删除，其中，各个所述第二曲面的连接关系根据所述高度以及各个所述第二曲面对应的所述第一二维网格之间的连接关系确定。
10.一种三维路面生成装置，其特征在于，所述装置包括：
获取单元，用于获取根据三维地面点云生成的初始三维路面，所述三维地面点云包括根据相机位姿信息生成的三维地面点和根据车道线信息生成的所述三维地面点，所述相机位姿信息包括对应视频帧图像被采集时相机的位姿，所述相机为采集车上安装的相机，所述视频帧图像包括车道线；
确定单元，用于通过坐标系转换确定所述三维地面点云中每个所述三维地面点在目标视频帧图像中的映射点，所述目标视频帧图像为获得所述三维地面点所使用的相机位姿信息所对应的视频帧图像；
生成单元，用于根据所述映射点在所述目标视频帧图像中的位置和/或颜色，设置与所述映射点对应的所述三维地面点在所述三维路面中的颜色，以生成目标三维路面。
11.根据权利要求10所述的装置，其特征在于，所述生成单元包括：
第一生成模块，用于当所述目标三维路面包括彩色三维路面或者语义分割三维路面时，针对每个待着色的三维地面点，在目标映射点在所述目标视频帧图像中的位置位于目标区域内的情况下，根据所述目标映射点的颜色设置所述待着色的三维地面点的颜色，以生成所述目标三维路面；
其中，所述目标映射点为所述待着色的三维地面点对应的所述映射点，所述目标区域包括由可行驶边界和所述采集车车盖线围成的区域，当所述目标三维路面为所述彩色三维路面时，所述视频帧图像为原始彩色图像，当所述目标三维路面为所述语义分割三维路面时，所述视频帧图像为通过对所述原始彩色图像进行地面语义分割后的语义分割图像。
12.根据权利要求11所述的装置，其特征在于，所述第一生成模块，用于将所述待着色的三维地面点的颜色设置为所述目标映射点的颜色；或者，对所述目标映射点所在的所述目标视频帧图像的所述目标区域进行颜色归一化，将所述待着色的三维地面点的颜色设置为颜色归一化后的所述目标映射点的颜色。
13.根据权利要求12所述的装置，其特征在于，所述第一生成模块，用于当所述待着色的三维地面点对应的所述目标视频帧图像包括多帧，所述待着色的三维地面点对应的所述目标映射点包括多个时，根据所述待着色的三维地面点与多个所述目标映射点中每个所述目标映射点之间的映射距离，对多个所述目标映射点的颜色进行加权计算，并将所述待着色的三维地面点的颜色设置为加权后的颜色；和/或，
根据所述待着色的三维地面点与多个颜色归一化后的所述目标映射点中每个颜色归一化后的所述目标映射点之间的映射距离，对多个颜色归一化后的所述目标映射点的颜色进行加权计算，并将所述待着色的三维地面点的颜色设置为加权后的颜色。
14.根据权利要求11所述的装置，其特征在于，所述生成单元包括：
第二生成模块，用于当所述目标三维路面包括可行驶区域占位三维路面时，针对每个待着色的三维地面点，在所述目标映射点位于所述目标区域的路面区域的情况下，将所述待着色的三维地面点的颜色设置为第一颜色，在所述目标映射点位于所述目标区域的非路面区域的情况下，将所述待着色的三维地面点的颜色设置为第二颜色，以生成所述目标三维路面。
15.根据权利要求10所述的装置，其特征在于，所述装置还包括：
划分单元，用于在通过坐标系转换确定所述三维地面点云中每个三维地面点在目标视频帧图像中的映射点之前，将初始三维路面划分为多个初始三维路面段；
所述生成单元，用于通过所述坐标系转换确定所述初始三维路面段中每个所述三维地面点在所述目标视频帧图像中的所述映射点，根据所述映射点在所述目标视频帧图像中的位置和/或颜色，设置与所述映射点对应的所述三维地面点在所述初始三维路面段中的颜色，以生成目标三维路面段；
合并单元，用于将多个所述目标三维路面段进行合并，获得所述目标三维路面。
16.根据权利要求10-15中任一项所述的装置，其特征在于，所述获取单元，包括：
筛选模块，用于根据二维网格化后的所述矢量语义地图中每个二维网格内的三维地面点数量，从所述二维网格中筛选出第一二维网格；
聚类模块，用于对每个所述第一二维网格内所述三维地面点按照高度进行聚类，获得每个所述第一二维网格内包含的第一曲面，所述第一曲面为三维曲面；
确定模块，用于将所述第一曲面确定为所述初始三维路面。
17.根据权利要求16所述的装置，其特征在于，所述获取单元还包括：
拟合模块，用于在所述将所述第一曲面确定为所述初始三维路面之前，针对每个待拟合第一曲面，根据所述待拟合第一曲面内的所述三维地面点和与所述待拟合第一曲面连接的至少一个其他第一曲面内的所述三维地面点，对所述待拟合第一曲面进行二次曲面拟合，获得所述待拟合第一曲面对应的第二曲面，其中，所述待拟合第一曲面为待进行二次曲面拟合的所述第一曲面，各个所述第一曲面的连接关系根据各个所述第一曲面对应的所述第一二维网格之间的连接关系以及所述高度确定；
所述确定模块，用于将所述第一曲面对应的所述第二曲面确定为所述初始三维路面。
18.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
19.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述电子设备实现如权利要求1-9中任一项所述的方法。
20.一种车辆，其特征在于，所述车辆包含如权利要求10-17中任一项所述的装置，或者包含如权利要求19所述的电子设备。
CN202210739596.1A 2022-06-28 2022-06-28 三维路面生成方法、装置、存储介质、电子设备及车辆 Pending CN117351159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210739596.1A CN117351159A (zh) 2022-06-28 2022-06-28 三维路面生成方法、装置、存储介质、电子设备及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210739596.1A CN117351159A (zh) 2022-06-28 2022-06-28 三维路面生成方法、装置、存储介质、电子设备及车辆

Publications (1)

Publication Number Publication Date
CN117351159A true CN117351159A (zh) 2024-01-05

Family

ID=89365451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210739596.1A Pending CN117351159A (zh) 2022-06-28 2022-06-28 三维路面生成方法、装置、存储介质、电子设备及车辆

Country Status (1)

Country Link
CN (1) CN117351159A (zh)

Similar Documents

Publication Publication Date Title
CN109061703B (zh) 用于定位的方法、装置、设备和计算机可读存储介质
KR101319471B1 (ko) 부감 화상 생성장치, 부감 화상 생성방법 및 기록매체
EP3078937B1 (en) Vehicle position estimation system, device, method, and camera device
US8818026B2 (en) Object recognition device and object recognition method
US11514682B2 (en) Determining weights of points of a point cloud based on geometric features
US10291898B2 (en) Method and apparatus for updating navigation map
CN111542860A (zh) 用于自主车辆的高清地图的标志和车道创建
CN111999752A (zh) 确定道路信息数据的方法、装置和计算机存储介质
EP3706072B1 (en) Method, apparatus, and system for detecting degraded ground paint in an image
CN112308913B (zh) 一种基于视觉的车辆定位方法、装置及车载终端
US20230121226A1 (en) Determining weights of points of a point cloud based on geometric features
CN112749584B (zh) 一种基于图像检测的车辆定位方法及车载终端
CN112446915B (zh) 一种基于图像组的建图方法及装置
CN112651991A (zh) 视觉定位方法、装置及计算机系统
CN117351159A (zh) 三维路面生成方法、装置、存储介质、电子设备及车辆
CN112530270B (zh) 一种基于区域分配的建图方法及装置
WO2022021209A9 (zh) 电子地图生成方法、装置、计算机设备和存储介质
CN117372633A (zh) 基于三维路面的道路边界生成方法及装置
JP2012203722A (ja) 地物選定システム、地物選定プログラム及び地物選定方法
CN117351158A (zh) 路面生成方法、装置、存储介质、设备及车辆
KR102540629B1 (ko) 교통 시설물에 대한 학습 데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102540636B1 (ko) 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102540624B1 (ko) 항공 라이다를 이용한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102540634B1 (ko) 프로젝션 기반 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102540632B1 (ko) 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination