CN113034566A - 高精度地图构建方法、装置、电子设备及存储介质 - Google Patents

高精度地图构建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113034566A
CN113034566A CN202110588056.3A CN202110588056A CN113034566A CN 113034566 A CN113034566 A CN 113034566A CN 202110588056 A CN202110588056 A CN 202110588056A CN 113034566 A CN113034566 A CN 113034566A
Authority
CN
China
Prior art keywords
aerial
point cloud
ground
node
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110588056.3A
Other languages
English (en)
Other versions
CN113034566B (zh
Inventor
李博文
于文义
魏曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Ecarx Technology Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN202110588056.3A priority Critical patent/CN113034566B/zh
Publication of CN113034566A publication Critical patent/CN113034566A/zh
Application granted granted Critical
Publication of CN113034566B publication Critical patent/CN113034566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本申请实施例提供了一种高精度地图构建方法、装置、电子设备及存储介质，方法包括：获取采集轨迹节点数据，获取探测图片；拼接激光点云；对拼接点云进行分割聚类；确定目标探测图片；对目标探测图片进行空中要素检测和地面要素分割；匹配空中点云簇在相机平面投影区域与空中要素检测框，确定空中点云簇与空中要素的对应关系；将地面要素分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓；基于空中点云簇绘制高精度地图中的空中要素，为所绘制的各个空中要素标注语义信息；基于各地面要素对应的三维轮廓绘制地面要素，为所绘制的各个地面要素标注语义信息。实现低成本构建高精度地图。

Description

高精度地图构建方法、装置、电子设备及存储介质
技术领域
本申请涉及自动驾驶技术领域，特别是涉及一种高精度地图构建方法、装置、电子设备及存储介质。
背景技术
自动驾驶中，高精度地图能够为自动驾驶汽车提供关于道路的先验知识，从而辅助其进行路径规划和导航。
但高精度地图的制作过程较为复杂且成本非常昂贵，需要各类高精度传感器高度配合。
当前传统图商大多使用测绘级别激光雷达和惯性导航系统进行制图，成本较高。因此，如何合理使用低成本传感器融合制图，成为行业的难点。
发明内容
本申请实施例的目的在于提供一种高精度地图构建方法、装置、电子设备及存储介质，以实现低成本构建高精度地图。具体技术方案如下：
为实现上述目的，本申请实施例提供了一种高精度地图构建方法，所述方法包括：
获取采集轨迹的节点数据，并获取采集车辆沿采集轨迹行驶过程中拍摄的探测图片，所述节点数据包括：各节点的时间戳、各节点的激光点云数据、各节点的位姿数据；
基于各节点的位姿数据，将各节点的激光点云数据转换至参考坐标系，得到参考坐标系下的拼接点云；
对所述拼接点云进行分割聚类处理，得到处于地面位置的地面点云簇和处于空中位置的空中点云簇；
针对所述采集轨迹，每隔预设距离间隔确定一目标轨迹节点，基于所述目标轨迹节点的时间戳，从所述探测图片中选取与该时间戳邻近的目标探测图片，并基于所述目标探测图片的时间戳对节点的位姿数据进行插值运算，得到拍摄所述目标探测图片时车辆位姿；
对每一目标探测图片进行空中要素检测和地面要素分割，分别得到空中要素的检测框、空中要素的语义信息，以及地面要素的分割框、地面要素的语义信息；其中，每个空中要素对应一个空中物体；每个地面要素对应一个地面物体；
针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将所述空中点云簇投影至相机平面，匹配所述空中点云簇在相机平面的投影区域和所述空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系；
针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数、以及基于所述地面点云簇确定的三维平面约束方程，将所述地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓；
基于所述空中点云簇绘制高精度地图中的空中要素，并基于所绘制的各个空中要素的语义信息，为所绘制的各个空中要素标注语义信息；基于各地面要素对应的三维轮廓绘制所述高精度地图中的地面要素，并基于所绘制的各个地面要素的语义信息，为所绘制的各个地面要素标注语义信息。
可选的，所述获取采集轨迹的节点数据的步骤，包括：
获取初始轨迹的节点数据，节点数据包括：初始轨迹中各节点的时间戳、各节点的激光点云数据、各节点的位姿数据；
对所述初始轨迹进行位姿优化，将优化后的初始轨迹确定为所述采集轨迹。
可选的，所述基于各节点的位姿数据，将各节点的激光点云数据转换至参考坐标系，得到参考坐标系下的拼接点云的步骤，包括：
针对每一节点，基于激光雷达的标定参数将该节点的激光点云数据转换至车辆坐标系；
根据该节点的位姿数据将车辆坐标系下的激光点云数据转换至参考坐标系；
将各节点的已转换至参考坐标系的激光点云数据组合，得到参考坐标系下的拼接点云。
可选的，所述针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将所述空中点云簇投影至相机平面，匹配所述空中点云簇在相机平面的投影区域和所述空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系的步骤，包括：
针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将所述空中点云簇投影至相机平面，得到各空中点云簇在目标探测图片中的外接矩形框；
计算各空中点云簇在目标探测图片中的外接矩形框与各所述空中要素的检测框的交并比；
根据所述交并比确定各空中点云簇在目标探测图片中的外接矩形框与各所述空中要素的检测框是否匹配；
针对每个空中点云簇，若该空中点云簇在目标探测图片中的外接矩形框与任一空中要素的检测框相匹配，则确定该空中点云簇与该空中要素的对应关系。
可选的，所述针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数、以及基于所述地面点云簇确定的三维平面约束方程，将所述地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓的步骤，包括：
针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿和车载相机标定参数，将所述地面点云簇投影至相机平面，得到相机平面内的多个投影点；
根据各所述投影点的相机平面坐标，以及相机平面坐标范围，筛选出所述地面点云簇中的目标地面点；根据所述目标地面点在参考坐标系下的位置坐标，拟合三维平面约束方程；
基于拍摄该目标探测图片时车辆位姿、车载相机的标定参数、以及所述三维平面约束方程，将所述地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓。
可选的，所述基于所述空中点云簇绘制高精度地图中的空中要素，并基于所绘制的各个空中要素的语义信息，为所绘制的各个空中要素标注语义信息，包括：
获取与同一空中点云簇相对应的多个候选空中要素，其中，所述多个候选空中要素是基于不同目标探测图片得到的；
针对每一空中点云簇，从该空中点云簇对应的多个候选空中要素中选取语义信息的完整度最高的候选空中要素，作为该空中点云簇对应的目标空中要素；
基于每个空中点云簇，在高精度地图中绘制对应的各个目标空中要素，并将各个目标空中要素的语义信息，作为所绘制的各个目标空中要素的标注信息。
可选的，所述基于各地面要素对应的三维轮廓绘制所述高精度地图中的地面要素，并基于所绘制的各个地面要素的语义信息，为所绘制的各个地面要素标注语义信息的步骤，包括：
获取与同一地面要素相对应的多个候选三维轮廓，其中，所述多个候选三维轮廓是基于不同目标探测图片得到的；
针对每一地面要素，从该地面要素对应的多个候选三维轮廓中选取覆盖其他候选三维轮廓的三维轮廓，作为该地面要素对应的目标三维轮廓；
基于各个地面要素对应的目标三维轮廓，在所述高精度地图中绘制对应的各个地面要素，并将各个地面要素的语义信息作为所绘制的各个地面要素的标注信息。
为实现上述目的，本申请实施例还提供了一种高精度地图构建装置，所述装置包括：
获取模块，用于获取采集轨迹的节点数据，并获取采集车辆沿采集轨迹行驶过程中拍摄的探测图片，所述节点数据包括：各节点的时间戳、各节点的激光点云数据、各节点的位姿数据；
拼接模块，用于基于各节点的位姿数据，将各节点的激光点云数据转换至参考坐标系，得到参考坐标系下的拼接点云；
分割聚类模块，用于对所述拼接点云进行分割聚类处理，得到处于地面位置的地面点云簇和处于空中位置的空中点云簇；
目标探测图片确定模块，用于针对所述采集轨迹，每隔预设距离间隔确定一目标轨迹节点，基于所述目标轨迹节点的时间戳，从所述探测图片中选取与该时间戳邻近的目标探测图片，并基于所述目标探测图片的时间戳对节点的位姿数据进行插值运算，得到拍摄所述目标探测图片时车辆位姿；
检测分割模块，用于对每一目标探测图片进行空中要素检测和地面要素分割，分别得到空中要素的检测框、空中要素的语义信息，以及地面要素的分割框、地面要素的语义信息；其中，每个空中要素对应一个空中物体；每个地面要素对应一个地面物体；
第一投影模块，用于针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将所述空中点云簇投影至相机平面，匹配所述空中点云簇在相机平面的投影区域和所述空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系；
第二投影模块，用于针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数、以及基于所述地面点云簇确定的三维平面约束方程，将所述地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓；
绘制模块，用于基于所述空中点云簇绘制高精度地图中的空中要素，并基于所绘制的各个空中要素的语义信息，为所绘制的各个空中要素标注语义信息；基于各地面要素对应的三维轮廓绘制所述高精度地图中的地面要素，并基于所绘制的各个地面要素的语义信息，为所绘制的各个地面要素标注语义信息。
为实现上述目的，本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一方法步骤。
为实现上述目的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法步骤。
本申请实施例有益效果：
应用本申请实施例提供的高精度地图构建方法、装置、电子设备及存储介质，获取采集轨迹的节点数据，并获取采集车辆沿采集轨迹行驶过程中拍摄的探测图片，节点数据包括：各节点的时间戳、各节点的激光点云数据、各节点的位姿数据；基于各节点的位姿数据，将各节点的激光点云数据转换至参考坐标系，得到参考坐标系下的拼接点云；对拼接点云进行分割聚类处理，得到处于地面位置的地面点云簇和处于空中位置的空中点云簇；针对采集轨迹，每隔预设距离间隔确定一目标轨迹节点，基于目标轨迹节点的时间戳，从探测图片中选取与该时间戳邻近的目标探测图片，并基于目标探测图片的时间戳对节点的位姿数据进行插值运算，得到拍摄目标探测图片时车辆位姿；对每一目标探测图片进行空中要素检测和地面要素分割，分别得到空中要素的检测框、空中要素的语义信息，以及地面要素的分割框、地面要素的语义信息；其中，每个空中要素对应一个空中物体；每个地面要素对应一个地面物体；针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将空中点云簇投影至相机平面，匹配空中点云簇在相机平面的投影区域和空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系；针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数、以及基于地面点云簇确定的三维平面约束方程，将地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓；基于空中点云簇绘制高精度地图中的空中要素，并基于所绘制的各个空中要素的语义信息，为所绘制的各个空中要素标注语义信息；基于各地面要素对应的三维轮廓绘制高精度地图中的地面要素，并基于所绘制的各个地面要素的语义信息，为所绘制的各个地面要素标注语义信息。
可见，通过激光点云获取空中要素和地面要素的位置信息，并根据探测图片提取空中要素和地面要素的语义信息，结合位置信息和语义信息构建高精度地图。由于无需通过激光点云获取语义信息，因此可以采用成本较低的非测绘级别的激光雷达，相比于现有的构建高精度地图的方法大幅降低了成本。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的高精度地图构建方法的一种流程示意图；
图2为本申请实施例提供的拼接激光点云数据的一种流程示意图；
图3为本申请实施例提供的点云拼接结果的一种示意图；
图4为本申请实施例提供的空中要素检测结果的一种示意图；
图5为本申请实施例提供的地面要素分割结果的一种示意图；
图6为本申请实施例提供的空中点云簇投影结果的一种示意图；
图7为本申请实施例提供的高精度地图构建结果的一种示意图；
图8为本申请实施例提供的构建高精度地图空中要素的一种流程示意图；
图9为本申请实施例提供的构建高精度地图地面要素的一种流程示意图；
图10为本申请实施例提供的高精度地图构建装置的一种结构示意图；
图11为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决采用测绘级别的激光雷达和惯导构建高精度地图成本较高的技术问题，本申请实施例提供了一种高精度地图构建方法、装置、电子设备及存储介质，以实现低成本构建高精度地图。
参见图1，图1为本申请实施例提供的高精度地图构建方法的一种流程示意图，方法可以包括以下步骤：
S101：获取采集轨迹的节点数据，并获取采集车辆沿采集轨迹行驶过程中拍摄的探测图片，节点数据包括：各节点的时间戳、各节点的激光点云数据、各节点的位姿数据。
本申请实施例中，节点均表示轨迹节点。
本申请实施例中，可以利用采集设备进行地图数据采集，采集设备可以是安装有传感器且预先完成传感器时间基线同步的采集车辆，其中传感器可以包括：128线或64线激光雷达、车载相机、惯性传感器（Inertial Measurement Unit，IMU）、轮速仪、全球定位系统(Global Positioning System，GPS)。
具体的，采集设备在道路上移动，通过激光雷达对周边环境进行探测，每隔一段时间获取一帧激光点云数据。
本领域技术人员可以理解，仅通过采集得到的轨迹节点的位姿是存在误差的，因此需要对轨迹进行优化，以使得各轨迹节点的位姿更接近真实值。本申请实施例中，采集轨迹表示优化后的轨迹。
具体的，可以获取初始轨迹的节点数据，包括：初始轨迹中各节点的时间戳、各节点的激光点云数据、各节点的位姿数据；基于预设算法对初始轨迹进行位姿优化，将优化后的初始轨迹确定为采集轨迹。
其中，位姿优化的过程可以参见相关技术。例如，可以采用Lidar SLAM技术或Visual SLAM技术实现位姿优化，Lidar SLAM技术是通过不同位姿下探测到的激光雷达点云来优化位姿；Visual SLAM技术是通过不同位姿下拍摄的照片来优化位姿。
此外，采集车辆沿采集轨迹行驶过程中，每隔一段时间可以拍摄探测图片，探测图片用于提取地理要素的语义信息，具体参见下文。
S102：基于各节点的位姿数据，将各节点的激光点云数据转换至参考坐标系，得到参考坐标系下的拼接点云。
本申请实施例中，可以利用采集轨迹对单帧激光点云进行拼接，得到参考坐标系下的拼接节点，其中参考坐标系可以是站心坐标系，也就是以工程采集初始位置为原点的笛卡尔坐标系。
参见图2，图2为本申请实施例提供的拼接激光点云数据的一种流程示意图，如图2所示，包括以下步骤：
S201：针对每一节点，基于激光雷达的标定参数将该节点的激光点云数据转换至车辆坐标系。
针对采集轨迹中的每一轨迹节点，可以基于激光雷达的标定参数将该轨迹节点对应的激光点云数据转换至车辆坐标系。
S202：根据该节点的位姿数据将车辆坐标系下的激光点云数据转换至参考坐标系。
本申请实施例中，可以确定参考坐标系的坐标原点，即工程采集初始位置的位姿，进而可以确定采集轨迹中各轨迹节点的位姿相对于工程采集初始位置的相对位姿，根据该相对位姿进行转换，即可得将车辆坐标系下的激光点云数据转换至参考坐标系。
S203：将各节点的已转换至参考坐标系的激光点云数据组合，得到参考坐标系下的拼接点云。
将采集轨迹中各轨迹节点已转换至参考坐标系的激光点云数据进行组合，即可得到参考坐标系下的拼接点云。
作为一个示例，参见图3，图3为本申请实施例提供的点云拼接结果的一种示意图。
S103：对拼接点云进行分割聚类处理，得到处于地面位置的地面点云簇和处于空中位置的空中点云簇。
本申请实施例中，可以采用神经网络对拼接点云进行分割，从而粗略的将拼接点云中的三维点分割为不同种类，随后可以采用聚类算法对不同种类的三维点进行聚类，得到多个点云簇，包括处于地面位置的地面点云簇和处于空中位置的空中点云簇。其中聚类算法可以是DBSCAN算法。
S104：针对采集轨迹，每隔预设距离间隔确定一目标轨迹节点，基于目标轨迹节点的时间戳，从探测图片中选取与该时间戳邻近的目标探测图片，并基于目标探测图片的时间戳对节点的位姿数据进行插值运算，得到拍摄目标探测图片时车辆位姿。
本申请实施例中，采集车辆搭载的是成本较低的128线或64线激光雷达，因此所得到的激光点云数据较为稀疏，无法准确识别各点云簇的准确语义信息，例如，根据分割、聚类后的某点云簇可以确定该点云簇对应的地理要素是限速牌，但无法确定限速牌的限速信息；或者无法确定车道线为实线或虚线。
因此，本申请实施例中，区别于现有技术，在通过激光点云确定地理要素的位置信息的基础上，还结合探测图片来确定地理要素的语义信息。
其中，地理要素可以包括空中要素和地面要素。例如，空中要素可以包括交通指示牌、限速牌等。地面要素可以包括车道线、地面等。
本申请实施例中，针对采集轨迹，可以每隔预设间隔确定一目标轨迹节点，预设间隔可以根据实际需求进行设置，例如设置为7米。
然后找到目标轨迹节点附近拍摄的探测图片，作为该目标轨迹节点对应的目标探测图片。例如根据目标轨迹节点的时间戳，从探测图片中选取与该时间戳邻近的目标探测图片。
在确定每一目标探测图片后，需要确定拍摄该目标探测图片时车辆位姿。
具体的，根据基于目标探测图片的时间戳对节点的位姿数据进行插值运算，得到拍摄目标探测图片时车辆位姿。
S105：对每一目标探测图片进行空中要素检测和地面要素分割，分别得到空中要素的检测框、空中要素的语义信息，以及地面要素的分割框、地面要素的语义信息；其中，每个空中要素对应一个空中物体；每个地面要素对应一个地面物体。
针对每一目标探测图片，可以进行空中要素检测和地面要素分割。
空中要素检测过程中，可以提取目标探测图片中的交通指示牌、限速牌等空中要素，确定空中要素检测框。作为一个示例，参见图4，图4为本申请实施例提供的空中要素检测结果的一种示意图。
如图4所示，目标探测图片中，位于空中的空中要素被检测出来，并用矩形的检测框圈起来。例如，其中一个交通指示牌中显示“下一路口、桃浦、1.5km”，该交通指示牌被检测出来，以矩形检测框框住。另外一个交通指示牌中显示“外环隧道方向”，该交通指示牌也被检测出来，以矩形检测框框住。
地面要素分割过程中，可以提取目标探测图片中的车道线、斑马线等地面要素，确定地面要素分割框。作为一个示例，参见图5，图5为本申请实施例提供的地面要素分割结果的一种示意图。
如图5所示，目标探测图片中，位于地面的地面要素，即车道线均被检测出来，并用线段对车道线进行分割，得到各个车道线的分割框。例如，图5中的箭头形状的车道线被检测出来，分割结果为箭头形状的分割框。此外，如图5所示，直线车道线和曲线车道线均被检测出来，分割结果分别为直线形状的分割框和曲线形状的分割框。
此外，由于探测图片的清晰度高，因此能够准确识别空中要素和地面要素的语义信息。例如，可以准确识别限速牌的限速信息、准确识别车道线为实线或虚线。
本申请实施例中，语义信息可以表示在构建高精度地图过程中所需要的针对空中要素或地面要素的描述信息。例如，限速牌的限速信息、交通指示牌中的文字信息、车道线的种类等。
其中，根据图片提取地理要素语义信息的具体过程可以参见相关技术，例如，可以采用深度神经网络模型进行语义信息提取。
本申请实施例中，在采集车辆沿采集轨迹行驶过程中，可以对实时采集的目标探测图片进行空中要素检测和地面要素分割，从而仅需保存检测和分割的结构化数据，用于后续的高精度地图构建，而无需保存各个探测图片，便于数据迁移。
S106：针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将空中点云簇投影至相机平面，匹配空中点云簇在相机平面的投影区域和空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系。
本申请实施例中，可以根据拍摄目标探测图片时车辆位姿、车载相机标定参数，将空中点云簇投影至相机平面。可以得到每个空中点云簇中包含的激光点对应的相机平面的坐标，根据这些激光点在相机平面的坐标可以确定每个空中点云簇在探测图片中的投影区域，投影区域可以用外接矩形框来表示。
作为一个示例，参见图6，图6为本申请实施例提供的空中点云簇投影结果的一种示意图。
如图6所示，空中点云簇投影至相机平面得到多个投影点。同一空中点云簇投影至相机平面得到的投影点构成该空中点云簇在相机平面的投影区域。例如，某个空中点云簇投影至相机平面得到的投影点组成图6所示的“标牌”区域，该“标牌”区域的外接矩形区域即可作为该空中点云簇投影至目标探测图片中得到的投影区域。
进一步的，可以匹配空中点云簇在相机平面的投影区域和空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系。
具体的，可以计算各空中点云簇在目标探测图片中的外接矩形框与各空中要素的检测框的交并比。
其中，交并比可以理解为重叠比例。
进而可以根据交并比确定各空中点云簇在目标探测图片中的外接矩形框与各空中要素的检测框是否匹配。
作为一个示例，可以将交并比作为距离组成距离矩阵，基于距离矩阵，采用匈牙利匹配算法确定空中点云簇在目标探测图片中的外接矩形框与空中要素的检测框的匹配关系。例如，针对每个空中要素检测框，确定与该空中要素检测框的交并比最大的空中点云簇的外接矩形框，确定二者的匹配关系。
从而可以确定的空中点云簇与空中要素的对应关系。具体的，针对每个空中点云簇，若该空中点云簇在目标探测图片中的外接矩形框与任一空中要素的检测框相匹配，则确定该空中点云簇与该空中要素的对应关系。
S107：针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数、以及基于地面点云簇确定的三维平面约束方程，将地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓。
在本申请的一种实施例中，步骤S107可以包括以下细化步骤：
步骤21：针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿和车载相机标定参数，将地面点云簇投影至相机平面，得到相机平面内的多个投影点。
步骤22：根据各投影点的相机平面坐标，以及相机平面坐标范围，筛选出地面点云簇中的目标地面点；根据目标地面点在参考坐标系下的位置坐标，拟合三维平面约束方程。
本申请实施例中，针对每一目标探测图片，可以根据拍摄该目标探测图片时车辆位姿和车载相机标定参数，将地面点云簇投影至相机平面，然后根据投影点在相机平面的位置，从地面点云簇中筛选出目标地面点。目标地面点可以理解为能够投影至目标探测图片内的地面点云簇中的点。
具体的，地面点云簇中的目标地面点投影至相机平面内得到的投影点在相机平面坐标不超过预设的相机平面坐标范围，例如相机平面横坐标在[0,1920]之间，相机平面纵坐标在[0,1080]之间。
本申请实施例中，可以根据目标地面点拟合三维平面约束方程。
步骤23：基于拍摄该目标探测图片时车辆位姿、车载相机的标定参数、以及三维平面约束方程，将地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓。
在确定拍摄目标探测图片时车辆位姿、车载相机的标定参数和三维平面约束方程之后，即可将地面要素的分割框投影至参考坐标系，得到对应的三维轮廓。也就是说，将地面要素的分割框包含的每个点在相机平面的二维坐标，转换为参考坐标系下的三维坐标，组成三维轮廓。该三维轮廓即可表示该地面要素在参考坐标系下的位置。
作为一个示例，设地面要素的分割框中某点的相机平面的二维坐标表示为
Figure 781090DEST_PATH_IMAGE001
，其值为已知量。该点对应的三维轮廓中的三维投影点的三维坐标表示为
Figure 800999DEST_PATH_IMAGE002
，其值为未知量。
三维平面方程的约束关系可以表示为：
Figure 367371DEST_PATH_IMAGE003
，其中，
Figure 156336DEST_PATH_IMAGE004
均为已知量。
同时，地面要素的分割框与三维轮廓的投影关系可以表示为：
Figure 55022DEST_PATH_IMAGE005
其中，d表示图像深度系数，
Figure 890122DEST_PATH_IMAGE006
表示车辆坐标系到相机坐标系的转换矩阵，可以根据车载相机的标定参数确定，
Figure 634088DEST_PATH_IMAGE007
表示参考坐标系到车辆坐标系的转换矩阵，可以根据拍摄探测图片时的车辆位姿确定。
联立上述公式即可求得未知量
Figure 605455DEST_PATH_IMAGE008
，其中，
Figure 206200DEST_PATH_IMAGE009
表示三维轮廓中的三维投影点的三维坐标。将各个三维投影点组合，即可得到三维轮廓。三维轮廓中各三维投影点的三维坐标即可构成三维轮廓的位置信息。
S108：基于空中点云簇绘制高精度地图中的空中要素，并基于所绘制的各个空中要素的语义信息，为所绘制的各个空中要素标注语义信息；基于各地面要素对应的三维轮廓绘制高精度地图中的地面要素，并基于所绘制的各个地面要素的语义信息，为所绘制的各个地面要素标注语义信息。
本申请实施例中，经过步骤S101-S107处理后，能够得到空中要素的语义信息、空中点云簇的位置信息以及空中要素和空中点云簇的对应关系，则可以构建高精度地图中的空中要素。
具体的，基于空中点云簇绘制高精度地图中的空中要素，并基于空中点云簇对应的空中要素的语义信息为所绘制的各个空中要素标注语义信息。
作为一个示例，根据一个空中点云簇绘制限速牌，然后确定与该空中点云簇对应的空中要素的语义信息：限速牌、限速60。则可以为所绘制的空中要素，即限速牌标注上述语义信息。
同时，能够得到地面要素的语义信息、地面要素在参考坐标系下的三维轮廓，则可以构建高精度地图中的地面要素。
具体的，基于各地面要素对应的三维轮廓绘制高精度地图中的地面要素，并基于所绘制的各地面要素的语义信息，为所绘制的各个地面要素标注语义信息。
作为一个示例，根据三维轮廓绘制地面要素，该三维轮廓对应的地面要素的语义信息为：斑马线。则可以为所绘制的地面要素标注上述语义信息。
绘制检测到的所有空中要素和地面要素之后，即可得到完整的高精度地图。
作为一个示例，参见图7，图7为本申请实施例提供的高精度地图构建结果的一种示意图。
应用本申请实施例提供的高精度地图构建方法，获取采集轨迹的节点数据，并获取采集车辆沿采集轨迹行驶过程中拍摄的探测图片，节点数据包括：各节点的时间戳、各节点的激光点云数据、各节点的位姿数据；基于各节点的位姿数据，将各节点的激光点云数据转换至参考坐标系，得到参考坐标系下的拼接点云；对拼接点云进行分割聚类处理，得到处于地面位置的地面点云簇和处于空中位置的空中点云簇；针对采集轨迹，每隔预设距离间隔确定一目标轨迹节点，基于目标轨迹节点的时间戳，从探测图片中选取与该时间戳邻近的目标探测图片，并基于目标探测图片的时间戳对节点的位姿数据进行插值运算，得到拍摄目标探测图片时车辆位姿；对每一目标探测图片进行空中要素检测和地面要素分割，分别得到空中要素的检测框、空中要素的语义信息，以及地面要素的分割框、地面要素的语义信息；其中，每个空中要素对应一个空中物体；每个地面要素对应一个地面物体；针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将空中点云簇投影至相机平面，匹配空中点云簇在相机平面的投影区域和空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系；针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数、以及基于地面点云簇确定的三维平面约束方程，将地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓；基于空中点云簇绘制高精度地图中的空中要素，并基于所绘制的各个空中要素的语义信息，为所绘制的各个空中要素标注语义信息；基于各地面要素对应的三维轮廓绘制高精度地图中的地面要素，并基于所绘制的各个地面要素的语义信息，为所绘制的各个地面要素标注语义信息。
可见，通过激光点云获取空中要素和地面要素的位置信息，并根据探测图片提取空中要素和地面要素的语义信息，结合位置信息和语义信息构建高精度地图。由于无需通过激光点云获取语义信息，因此可以采用成本较低的非测绘级别的激光雷达，相比于现有的构建高精度地图的方法大幅降低了成本。
并且，采用该方法构建高精度地图，采集地图数据的速度较快，算法鲁棒性高，对标定参数的依赖较低。
本申请实施例中，由于不同探测图片中可能包含同一空中要素或地面要素，而针对不同探测图片进行的检测和分割的质量也可能不同，因此在构建高精度地图之前，可以进行融合去重。
具体的，参见图8，图8为本申请实施例提供的构建高精度地图空中要素的一种流程示意图，如图8所示，可以包括以下步骤：
S801：获取与同一空中点云簇相对应的多个候选空中要素，其中，多个候选空中要素是基于不同目标探测图片得到的。
本申请实施例中，由于针对不同目标探测图片，均进行空中点云簇与空中要素的匹配，因此同一空中点云簇可能对应多个候选空中要素，多个候选空中要素是基于不同目标探测图片得到的。
S802：针对每一空中点云簇，从该空中点云簇对应的多个候选空中要素中选取语义信息的完整度最高的候选空中要素，作为该空中点云簇对应的目标空中要素。
其中，语义信息的完整度可以根据语义信息的字节数，语义信息的置信度等指标进行评判。
S803：基于每个空中点云簇，在高精度地图中绘制对应的各个目标空中要素，并将各个目标空中要素的语义信息，作为所绘制的各个目标空中要素的标注信息。
在绘制高精地图中的空中要素时，可以绘制与各空中点云簇对应的各目标空中要素，并根据目标空中要素的语义信息，为所绘制的各个目标空中要素标注语义信息。
参见图9，图9为本申请实施例提供的构建高精度地图地面要素的一种流程示意图，如图9所示，可以包括以下步骤：
S901：获取与同一地面要素对应的多个候选三维轮廓，其中，多个候选三维轮廓是基于不同目标检测图片得到的。
本申请实施例中，由于针对不同目标探测图片，均将地面要素投影至参考坐标系得到三维轮廓，因此同一地面要素对应多个候选三维轮廓，即多个候选三维轮廓是基于不同目标探测图片得到的。
S902：针对每一地面要素，从该地面要素对应的多个候选三维轮廓中选取覆盖其他候选三维轮廓的三维轮廓，作为该地面要素对应的目标三维轮廓。
本申请实施例中，针对每一地面要素，可以根据候选三维轮廓之间的压盖关系筛选出目标三维轮廓。具体的，针对每个地面要素，后得到的候选三维轮廓能够压盖之前得到的候选三维轮廓，可以选取覆盖其他候选三维轮廓的三维轮廓，作为目标三维轮廓。
S903：基于各个地面要素对应的目标三维轮廓，在高精度地图中绘制对应的各个地面要素，并将各个地面要素的语义信息作为所绘制的各个地面要素的标注信息。
在绘制高精地图中的地面要素时，可以基于地面要素对应的目标三维轮廓，绘制地面要素，并根据地面要素的语义信息为所绘制的各地面要素标注语义信息。
相应于本申请实施例提供的高精度地图构建方法，本申请实施例还提供了一种高精度地图构建装置，参见图10，装置可以包括以下模块：
获取模块1001，用于获取采集轨迹的节点数据，并获取采集车辆沿采集轨迹行驶过程中拍摄的探测图片，节点数据包括：各节点的时间戳、各节点的激光点云数据、各节点的位姿数据；
拼接模块1002，用于基于各节点的位姿数据，将各节点的激光点云数据转换至参考坐标系，得到参考坐标系下的拼接点云；
分割聚类模块1003，用于对拼接点云进行分割聚类处理，得到处于地面位置的地面点云簇和处于空中位置的空中点云簇；
目标探测图片确定模块1004：用于针对采集轨迹，每隔预设距离间隔确定一目标轨迹节点，基于目标轨迹节点的时间戳，从探测图片中选取与该时间戳邻近的目标探测图片，并基于目标探测图片的时间戳对节点的位姿数据进行插值运算，得到拍摄目标探测图片时车辆位姿；
检测分割模块1005，用于对每一目标探测图片进行空中要素检测和地面要素分割，分别得到空中要素的检测框、空中要素的语义信息，以及地面要素的分割框、地面要素的语义信息；其中，每个空中要素对应一个空中物体；每个地面要素对应一个地面物体；
第一投影模块1006，用于针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将空中点云簇投影至相机平面，匹配空中点云簇在相机平面的投影区域和空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系；
第二投影模块1007，用于针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数、以及基于地面点云簇确定的三维平面约束方程，将地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓；
绘制模块1008，用于基于空中点云簇绘制高精度地图中的空中要素，并基于所绘制的各个空中要素的语义信息，为所绘制的各个空中要素标注语义信息；基于各地面要素对应的三维轮廓绘制高精度地图中的地面要素，并基于所绘制的各个地面要素的语义信息，为所绘制的各个地面要素标注语义信息。
应用本申请实施例提供的高精度地图装置，通过激光点云获取空中要素和地面要素的位置信息，并根据探测图片提取空中要素和地面要素的语义信息，结合位置信息和语义信息构建高精度地图。由于无需通过激光点云获取语义信息，因此可以采用成本较低的非测绘级别的激光雷达，相比于现有的构建高精度地图的方法大幅降低了成本。
其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。
基于相同的发明构思，根据上述轨迹优化方法实施例，本申请实施例还提供了一种电子设备，如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，
存储器1103，用于存放计算机程序；
处理器1101，用于执行存储器1103上所存放的程序时，实现如下步骤：
获取采集轨迹的节点数据，并获取采集车辆沿采集轨迹行驶过程中拍摄的探测图片，节点数据包括：各节点的时间戳、各节点的激光点云数据、各节点的位姿数据；
基于各节点的位姿数据，将各节点的激光点云数据转换至参考坐标系，得到参考坐标系下的拼接点云；
对拼接点云进行分割聚类处理，得到处于地面位置的地面点云簇和处于空中位置的空中点云簇；
针对采集轨迹，每隔预设距离间隔确定一目标轨迹节点，基于目标轨迹节点的时间戳，从探测图片中选取与该时间戳邻近的目标探测图片，并基于目标探测图片的时间戳对节点的位姿数据进行插值运算，得到拍摄目标探测图片时车辆位姿；
对每一目标探测图片进行空中要素检测和地面要素分割，分别得到空中要素的检测框、空中要素的语义信息，以及地面要素的分割框、地面要素的语义信息；其中，每个空中要素对应一个空中物体；每个地面要素对应一个地面物体；
针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将空中点云簇投影至相机平面，匹配空中点云簇在相机平面的投影区域和空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系；
针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数、以及基于地面点云簇确定的三维平面约束方程，将地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓；
基于空中点云簇绘制高精度地图中的空中要素，并基于所绘制的各个空中要素的语义信息，为所绘制的各个空中要素标注语义信息；基于各地面要素对应的三维轮廓绘制高精度地图中的地面要素，并基于所绘制的各个地面要素的语义信息，为所绘制的各个地面要素标注语义信息。
上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应用本申请实施例提供的电子设备，通过激光点云获取空中要素和地面要素的位置信息，并根据探测图片提取空中要素和地面要素的语义信息，结合位置信息和语义信息构建高精度地图。由于无需通过激光点云获取语义信息，因此可以采用成本较低的非测绘级别的激光雷达，相比于现有的构建高精度地图的方法大幅降低了成本。
其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一高精度地图构建方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一高精度地图构建方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于高精度地图构建装置、电子设备、计算机可读存储介质及计算机程序产品实施例而言，由于其基本相似于高精度地图构建方法实施例，所以描述的比较简单，相关之处参见高精度地图构建方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种高精度地图构建方法，其特征在于，所述方法包括：
获取采集轨迹的节点数据，并获取采集车辆沿采集轨迹行驶过程中拍摄的探测图片，所述节点数据包括：各节点的时间戳、各节点的激光点云数据、各节点的位姿数据；
基于各节点的位姿数据，将各节点的激光点云数据转换至参考坐标系，得到参考坐标系下的拼接点云；
对所述拼接点云进行分割聚类处理，得到处于地面位置的地面点云簇和处于空中位置的空中点云簇；
针对所述采集轨迹，每隔预设距离间隔确定一目标轨迹节点，基于所述目标轨迹节点的时间戳，从所述探测图片中选取与该时间戳邻近的目标探测图片，并基于所述目标探测图片的时间戳对节点的位姿数据进行插值运算，得到拍摄所述目标探测图片时车辆位姿；
对每一目标探测图片进行空中要素检测和地面要素分割，分别得到空中要素的检测框、空中要素的语义信息，以及地面要素的分割框、地面要素的语义信息；其中，每个空中要素对应一个空中物体；每个地面要素对应一个地面物体；
针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将所述空中点云簇投影至相机平面，匹配所述空中点云簇在相机平面的投影区域和所述空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系；
针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数、以及基于所述地面点云簇确定的三维平面约束方程，将所述地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓；
基于所述空中点云簇绘制高精度地图中的空中要素，并基于所绘制的各个空中要素的语义信息，为所绘制的各个空中要素标注语义信息；基于各地面要素对应的三维轮廓绘制所述高精度地图中的地面要素，并基于所绘制的各个地面要素的语义信息，为所绘制的各个地面要素标注语义信息。
2.根据权利要求1所述的方法，其特征在于，所述获取采集轨迹的节点数据的步骤，包括：
获取初始轨迹的节点数据，节点数据包括：初始轨迹中各节点的时间戳、各节点的激光点云数据、各节点的位姿数据；
对所述初始轨迹进行位姿优化，将优化后的初始轨迹确定为所述采集轨迹。
3.根据权利要求1所述的方法，其特征在于，所述基于各节点的位姿数据，将各节点的激光点云数据转换至参考坐标系，得到参考坐标系下的拼接点云的步骤，包括：
针对每一节点，基于激光雷达的标定参数将该节点的激光点云数据转换至车辆坐标系；
根据该节点的位姿数据将车辆坐标系下的激光点云数据转换至参考坐标系；
将各节点的已转换至参考坐标系的激光点云数据组合，得到参考坐标系下的拼接点云。
4.根据权利要求1所述的方法，其特征在于，所述针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将所述空中点云簇投影至相机平面，匹配所述空中点云簇在相机平面的投影区域和所述空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系的步骤，包括：
针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将所述空中点云簇投影至相机平面，得到各空中点云簇在目标探测图片中的外接矩形框；
计算各空中点云簇在目标探测图片中的外接矩形框与各所述空中要素的检测框的交并比；
根据所述交并比确定各空中点云簇在目标探测图片中的外接矩形框与各所述空中要素的检测框是否匹配；
针对每个空中点云簇，若该空中点云簇在目标探测图片中的外接矩形框与任一空中要素的检测框相匹配，则确定该空中点云簇与该空中要素的对应关系。
5.根据权利要求1所述的方法，其特征在于，所述针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数、以及基于所述地面点云簇确定的三维平面约束方程，将所述地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓的步骤，包括：
针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿和车载相机标定参数，将所述地面点云簇投影至相机平面，得到相机平面内的多个投影点；
根据各所述投影点的相机平面坐标，以及相机平面坐标范围，筛选出所述地面点云簇中的目标地面点；根据所述目标地面点在参考坐标系下的位置坐标，拟合三维平面约束方程；
基于拍摄该目标探测图片时车辆位姿、车载相机的标定参数、以及所述三维平面约束方程，将所述地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓。
6.根据权利要求1所述的方法，其特征在于，所述基于所述空中点云簇绘制高精度地图中的空中要素，并基于所绘制的各个空中要素的语义信息，为所绘制的各个空中要素标注语义信息，包括：
获取与同一空中点云簇相对应的多个候选空中要素，其中，所述多个候选空中要素是基于不同目标探测图片得到的；
针对每一空中点云簇，从该空中点云簇对应的多个候选空中要素中选取语义信息的完整度最高的候选空中要素，作为该空中点云簇对应的目标空中要素；
基于每个空中点云簇，在高精度地图中绘制对应的各个目标空中要素，并将各个目标空中要素的语义信息，作为所绘制的各个目标空中要素的标注信息。
7.根据权利要求1所述的方法，其特征在于，所述基于各地面要素对应的三维轮廓绘制所述高精度地图中的地面要素，并基于所绘制的各个地面要素的语义信息，为所绘制的各个地面要素标注语义信息的步骤，包括：
获取与同一地面要素相对应的多个候选三维轮廓，其中，所述多个候选三维轮廓是基于不同目标探测图片得到的；
针对每一地面要素，从该地面要素对应的多个候选三维轮廓中选取覆盖其他候选三维轮廓的三维轮廓，作为该地面要素对应的目标三维轮廓；
基于各个地面要素对应的目标三维轮廓，在所述高精度地图中绘制对应的各个地面要素，并将各个地面要素的语义信息作为所绘制的各个地面要素的标注信息。
8.一种高精度地图构建装置，其特征在于，所述装置包括：
获取模块，用于获取采集轨迹的节点数据，并获取采集车辆沿采集轨迹行驶过程中拍摄的探测图片，所述节点数据包括：各节点的时间戳、各节点的激光点云数据、各节点的位姿数据；
拼接模块，用于基于各节点的位姿数据，将各节点的激光点云数据转换至参考坐标系，得到参考坐标系下的拼接点云；
分割聚类模块，用于对所述拼接点云进行分割聚类处理，得到处于地面位置的地面点云簇和处于空中位置的空中点云簇；
目标探测图片确定模块，用于针对所述采集轨迹，每隔预设距离间隔确定一目标轨迹节点，基于所述目标轨迹节点的时间戳，从所述探测图片中选取与该时间戳邻近的目标探测图片，并基于所述目标探测图片的时间戳对节点的位姿数据进行插值运算，得到拍摄所述目标探测图片时车辆位姿；
检测分割模块，用于对每一目标探测图片进行空中要素检测和地面要素分割，分别得到空中要素的检测框、空中要素的语义信息，以及地面要素的分割框、地面要素的语义信息；其中，每个空中要素对应一个空中物体；每个地面要素对应一个地面物体；
第一投影模块，用于针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数，将所述空中点云簇投影至相机平面，匹配所述空中点云簇在相机平面的投影区域和所述空中要素的检测框，基于匹配结果确定各空中点云簇与各空中要素的对应关系；
第二投影模块，用于针对每一目标探测图片，根据拍摄该目标探测图片时车辆位姿、车载相机标定参数、以及基于所述地面点云簇确定的三维平面约束方程，将所述地面要素的分割框投影至参考坐标系，得到与各地面要素对应的参考坐标系下的三维轮廓；
绘制模块，用于基于所述空中点云簇绘制高精度地图中的空中要素，并基于所绘制的各个空中要素的语义信息，为所绘制的各个空中要素标注语义信息；基于各地面要素对应的三维轮廓绘制所述高精度地图中的地面要素，并基于所绘制的各个地面要素的语义信息，为所绘制的各个地面要素标注语义信息。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202110588056.3A 2021-05-28 2021-05-28 高精度地图构建方法、装置、电子设备及存储介质 Active CN113034566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110588056.3A CN113034566B (zh) 2021-05-28 2021-05-28 高精度地图构建方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110588056.3A CN113034566B (zh) 2021-05-28 2021-05-28 高精度地图构建方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113034566A true CN113034566A (zh) 2021-06-25
CN113034566B CN113034566B (zh) 2021-09-24

Family

ID=76455984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110588056.3A Active CN113034566B (zh) 2021-05-28 2021-05-28 高精度地图构建方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113034566B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256804A (zh) * 2021-06-28 2021-08-13 湖北亿咖通科技有限公司 一种三维重建尺度恢复方法、装置、电子设备及存储介质
CN113593022A (zh) * 2021-07-06 2021-11-02 安徽海博智能科技有限责任公司 一种用于矿山无人驾驶场景的高精地图制作方法
CN114413881A (zh) * 2022-01-07 2022-04-29 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
CN115162128A (zh) * 2022-06-20 2022-10-11 高德软件有限公司 道路标线的生成方法、绘制信息的采集方法、装置和设备
WO2023082588A1 (zh) * 2021-11-09 2023-05-19 上海商汤智能科技有限公司 一种语义标注的方法、装置、电子设备、存储介质及计算机程序产品
WO2024051344A1 (zh) * 2022-09-05 2024-03-14 北京地平线机器人技术研发有限公司 一种地图创建方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
US20180341820A1 (en) * 2017-05-25 2018-11-29 Baidu Online Network Technology (Beijing) Co., Ltd. Method and Apparatus for Acquiring Information
CN109934920A (zh) * 2019-05-20 2019-06-25 奥特酷智能科技(南京)有限公司 基于低成本设备的高精度三维点云地图构建方法
CN109991984A (zh) * 2019-04-22 2019-07-09 上海蔚来汽车有限公司 用于生成高精细地图的方法、装置和计算机存储介质
CN110160502A (zh) * 2018-10-12 2019-08-23 腾讯科技（深圳）有限公司 地图要素提取方法、装置及服务器
CN110796714A (zh) * 2019-08-22 2020-02-14 腾讯科技（深圳）有限公司 一种地图构建方法、装置、终端以及计算机可读存储介质
US20200072616A1 (en) * 2018-08-30 2020-03-05 Baidu Online Network Technology (Beijing) Co., Ltd. High-precision map generation method, device and computer device
CN110956690A (zh) * 2019-11-19 2020-04-03 广东博智林机器人有限公司 一种建筑信息模型生成方法和系统
CN111652179A (zh) * 2020-06-15 2020-09-11 东风汽车股份有限公司 基于点线特征融合激光的语义高精地图构建与定位方法
CN111986214A (zh) * 2020-08-26 2020-11-24 湖北亿咖通科技有限公司 一种地图中人行横道的构建方法和电子设备
CN112069856A (zh) * 2019-06-10 2020-12-11 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN112559539A (zh) * 2020-12-07 2021-03-26 北京嘀嘀无限科技发展有限公司 更新地图数据的方法与装置
CN112740225A (zh) * 2020-09-30 2021-04-30 华为技术有限公司 一种路面要素确定方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
US20180341820A1 (en) * 2017-05-25 2018-11-29 Baidu Online Network Technology (Beijing) Co., Ltd. Method and Apparatus for Acquiring Information
US20200072616A1 (en) * 2018-08-30 2020-03-05 Baidu Online Network Technology (Beijing) Co., Ltd. High-precision map generation method, device and computer device
CN110160502A (zh) * 2018-10-12 2019-08-23 腾讯科技（深圳）有限公司 地图要素提取方法、装置及服务器
CN109991984A (zh) * 2019-04-22 2019-07-09 上海蔚来汽车有限公司 用于生成高精细地图的方法、装置和计算机存储介质
CN109934920A (zh) * 2019-05-20 2019-06-25 奥特酷智能科技(南京)有限公司 基于低成本设备的高精度三维点云地图构建方法
CN112069856A (zh) * 2019-06-10 2020-12-11 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN110796714A (zh) * 2019-08-22 2020-02-14 腾讯科技（深圳）有限公司 一种地图构建方法、装置、终端以及计算机可读存储介质
CN110956690A (zh) * 2019-11-19 2020-04-03 广东博智林机器人有限公司 一种建筑信息模型生成方法和系统
CN111652179A (zh) * 2020-06-15 2020-09-11 东风汽车股份有限公司 基于点线特征融合激光的语义高精地图构建与定位方法
CN111986214A (zh) * 2020-08-26 2020-11-24 湖北亿咖通科技有限公司 一种地图中人行横道的构建方法和电子设备
CN112740225A (zh) * 2020-09-30 2021-04-30 华为技术有限公司 一种路面要素确定方法及装置
CN112559539A (zh) * 2020-12-07 2021-03-26 北京嘀嘀无限科技发展有限公司 更新地图数据的方法与装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256804A (zh) * 2021-06-28 2021-08-13 湖北亿咖通科技有限公司 一种三维重建尺度恢复方法、装置、电子设备及存储介质
CN113593022A (zh) * 2021-07-06 2021-11-02 安徽海博智能科技有限责任公司 一种用于矿山无人驾驶场景的高精地图制作方法
CN113593022B (zh) * 2021-07-06 2022-06-14 安徽海博智能科技有限责任公司 一种用于矿山无人驾驶场景的高精地图制作方法
WO2023082588A1 (zh) * 2021-11-09 2023-05-19 上海商汤智能科技有限公司 一种语义标注的方法、装置、电子设备、存储介质及计算机程序产品
CN114413881A (zh) * 2022-01-07 2022-04-29 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
CN114413881B (zh) * 2022-01-07 2023-09-01 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
CN115162128A (zh) * 2022-06-20 2022-10-11 高德软件有限公司 道路标线的生成方法、绘制信息的采集方法、装置和设备
CN115162128B (zh) * 2022-06-20 2024-03-29 高德软件有限公司 道路标线的生成方法、绘制信息的采集方法、装置和设备
WO2024051344A1 (zh) * 2022-09-05 2024-03-14 北京地平线机器人技术研发有限公司 一种地图创建方法及装置

Also Published As

Publication number Publication date
CN113034566B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN113034566B (zh) 高精度地图构建方法、装置、电子设备及存储介质
US10628671B2 (en) Road modeling from overhead imagery
US11645839B2 (en) Lane feature detection in aerial images based on road geometry
KR20200121274A (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
US11501104B2 (en) Method, apparatus, and system for providing image labeling for cross view alignment
CN108765487A (zh) 重建三维场景的方法、装置、设备和计算机可读存储介质
US11590989B2 (en) Training data generation for dynamic objects using high definition map data
CN109141444B (zh) 定位方法、装置、存储介质及移动设备
CN110906954A (zh) 一种基于自动驾驶平台的高精度地图测试评估方法和装置
US11170485B2 (en) Method, apparatus, and system for automatic quality assessment of cross view feature correspondences using bundle adjustment techniques
EP3644013B1 (en) Method, apparatus, and system for location correction based on feature point correspondence
CN112432650B (zh) 高精地图数据的获取方法、车辆控制方法以及设备
US10949707B2 (en) Method, apparatus, and system for generating feature correspondence from camera geometry
CN115164918B (zh) 语义点云地图构建方法、装置及电子设备
CN113450455A (zh) 用于生成停车场的道路链路的地图的方法、设备和计算机程序产品
CN110018503B (zh) 车辆的定位方法及定位系统
CN114509065B (zh) 地图构建方法、系统、车辆终端、服务器端及存储介质
CN115344655A (zh) 地物要素的变化发现方法、装置及存储介质
Guo et al. A novel method for road network mining from floating car data
CN116295463A (zh) 一种导航地图元素的自动标注方法
CN115457084A (zh) 一种多相机目标检测跟踪方法、装置
CN113048988B (zh) 一种导航地图对应场景的变化元素检测方法及装置
US20240013554A1 (en) Method, apparatus, and system for providing machine learning-based registration of imagery with different perspectives
KR102655068B1 (ko) 항공영상 기반 도로 검출장치 및 그 방법
de Moura Morceli et al. Road extraction from low-cost GNSS-device dense trajectories

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant