CN117611762B - 一种多层级地图构建方法、系统及电子设备 - Google Patents

一种多层级地图构建方法、系统及电子设备 Download PDF

Info

Publication number
CN117611762B
CN117611762B CN202410090406.7A CN202410090406A CN117611762B CN 117611762 B CN117611762 B CN 117611762B CN 202410090406 A CN202410090406 A CN 202410090406A CN 117611762 B CN117611762 B CN 117611762B
Authority
CN
China
Prior art keywords
data
map
dimensional
point cloud
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410090406.7A
Other languages
English (en)
Other versions
CN117611762A (zh
Inventor
严超
叶飞
龚烨飞
刘继承
朱培逸
赵广志
薛国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN202410090406.7A priority Critical patent/CN117611762B/zh
Publication of CN117611762A publication Critical patent/CN117611762A/zh
Application granted granted Critical
Publication of CN117611762B publication Critical patent/CN117611762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开的实施例提供一种多层级地图构建方法、系统及电子设备。方法包括：获取点云数据、彩色图像数据和惯性数据；根据所述点云数据和所述惯性数据，确定激光雷达在全局坐标系下的位置和姿态；根据所述激光雷达在全局坐标系下的位置和姿态，得到激光点云地图数据；根据所述激光点云地图数据和所述彩色图像数据，得到三维语义地图；根据所述三维语义地图，得到物体级语义地图。本公开的实施例通过综合激光雷达和视觉相机的数据，构建多层级地图，包括准确的三维点云信息、环境语义信息和物体级别的信息，实现了高精度、多层级、多维度的地图构建，从而提高了环境感知和决策的准确性，提供了高度精确的环境感知和定位服务。

Description

一种多层级地图构建方法、系统及电子设备
技术领域
本公开的实施例属于自动驾驶技术领域，具体涉及一种多层级地图构建方法、系统及电子设备。
背景技术
地图构建在自动驾驶、机器人导航、环境感知和其他领域中具有关键作用。传统地图构建方法通常基于单一传感器或数据源，如激光雷达、视觉相机或GNSS（GlobalNavigation Satellite System，全球导航卫星系统）。目前常用的导航地图主要包括：点云地图和语义地图。点云地图：传统的点云地图构建方法依赖于激光雷达的高精度距离测量，可以提供准确的地图几何信息。然而，这些方法通常无法提供丰富的语义信息，如物体识别、道路分类等，从而限制了地图的应用范围。语义地图：视觉相机具有广泛的视野和颜色信息，可以用于物体识别和语义分析。然而，视觉相机在不同照明和天气条件下性能波动大，且容易受到遮挡和图像噪声的干扰，因此在某些情况下难以生成准确的地图。
传统地图构建方法主要基于激光雷达或视觉相机单独进行，这些方法存在一定的局限性，精度不足、信息不完整且对不同环境的适应性差，限制了地图的精度和信息内容。
发明内容
本公开的实施例旨在至少解决现有技术中存在的技术问题之一，提供一种多层级地图构建方法、系统及电子设备。
本公开的一个方面提供一种多层级地图构建方法，包括：
获取点云数据、彩色图像数据和惯性数据；
根据所述点云数据和所述惯性数据，确定激光雷达在全局坐标系下的位置和姿态；
根据所述激光雷达在全局坐标系下的位置和姿态，得到激光点云地图数据；
根据所述激光点云地图数据和所述彩色图像数据，得到三维语义地图；
根据所述三维语义地图，得到物体级语义地图。
可选的，在获取所述彩色图像数据后，所述方法还包括：
矫正所述彩色图像数据。
进一步地，所述根据所述点云数据和所述惯性数据，确定激光雷达在全局坐标系下的位置和姿态，包括：
将所述点云数据和所述惯性数据进行Fast-LIO处理，确定激光雷达在全局坐标系下的位置和姿态。
进一步地，所述根据所述激光点云地图数据和所述彩色图像数据，得到三维语义地图，包括：
利用目标检测网络对所述彩色图像数据进行目标检测和语义分割，生成二维标签；
根据所述激光点云地图数据、相机内参、相机与激光雷达的外参，将所述彩色图像数据与所述激光点云地图数据进行对应；
根据激光点云地图数据的深度信息，恢复所述二维标签的深度信息，生成三维标签，得到三维语义地图。
进一步地，根据所述三维语义地图，得到物体级语义地图，包括：
从所述三维语义地图图像中提取物体类别的二维边界框；
获取每个所述物体类别的三维点云的中心点三维坐标和对应的长宽高；
根据主成分分析算法获取每个所述物体类别在全局坐标系下的特征向量，为每个所述物体类别构建包围盒，得到物体级语义地图。
本公开的另一方面提供一种多层级地图构建系统，包括：
数据获取模块，用于获取点云数据、彩色图像数据和惯性数据；
位置姿态模块，用于根据所述点云数据和所述惯性数据，确定激光雷达在全局坐标系下的位置和姿态；
点云地图模块，用于根据所述激光雷达在全局坐标系下的位置和姿态，得到激光点云地图数据；
三维语义地图模块，用于根据所述激光点云地图数据和所述彩色图像数据，得到三维语义地图；
物体级语义地图模块，用于根据所述三维语义地图，得到物体级语义地图。
进一步地，所述位置姿态模块具体用于：
将所述点云数据和所述惯性数据进行Fast-LIO处理，确定激光雷达在全局坐标系下的位置和姿态。
进一步地，所述三维语义地图模块具体用于：
利用目标检测网络对所述彩色图像数据进行目标检测和语义分割，生成二维标签；
根据所述激光点云地图数据、相机内参、相机与激光雷达的外参，将所述彩色图像数据与所述激光点云地图数据进行对应；
根据激光点云地图数据的深度信息，恢复所述二维标签的深度信息，生成三维标签，得到三维语义地图。
进一步地，所述物体级语义地图模块具体用于：
从所述三维语义地图图像中提取物体类别的二维边界框；
获取每个所述物体类别的三维点云的中心点三维坐标和对应的长宽高；
根据主成分分析算法获取每个所述物体类别在全局坐标系下的特征向量，为每个所述物体类别构建包围盒，得到物体级语义地图。
本公开的又一方面提供一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器，用于存储一个或多个程序，当所述一个或多个程序被所述至少一个处理器执行时，能使得所述至少一个处理器实现上文所述的多层级地图构建方法。
本公开实施例的一种多层级地图构建方法、系统及电子设备，通过综合激光雷达和视觉相机的数据，构建多层级地图，包括准确的三维点云信息、环境语义信息和物体级别的信息，实现了高精度、多层级、多维度的地图构建，从而提高了环境感知和决策的准确性，提供了高度精确的环境感知和定位服务。
附图说明
图1为本公开一实施例的一种多层级地图构建方法的流程示意图；
图2为本公开另一实施例的一种多层级地图构建系统的结构示意图；
图3为本公开另一实施例的一种电子设备的结构示意图。
具体实施方式
为了满足自动驾驶、机器人导航和环境感知等领域的需求，需要一种能够提供多层级地图信息的新方法。多层级地图可以包括几何信息、语义信息和物体级信息，从而使智能系统能够更好地理解和与环境互动。此外，多层级地图可以适应不同的应用场景和环境条件，提供更高级别的地图语义信息，有助于提高决策和规划的精度和可靠性。
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本公开中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本公开中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。
如图1所示，本公开的一个实施例提供一种多层级地图构建方法，包括：
步骤S1、获取点云数据、彩色图像数据和惯性数据。
具体地，使用载体如车辆、移动平台，装载激光雷达、视觉相机和IMU（Inertialmeasurement unit，惯性测量单元）等传感器，分别采集点云数据、彩色图像数据和惯性数据。其中，惯性数据包括加速度和角速度数据。视觉相机的内参已知，视觉相机、激光雷达和IMU的外参已知。矫正所述彩色图像数据，根据已知的相机内参信息及畸变系数，将原始的彩色图像通过OpenCV中的函数cv::undistort()得到去畸变的彩色图像，即矫正的彩色图像。
步骤S2、根据所述点云数据和所述惯性数据，确定激光雷达在全局坐标系下的位置和姿态。
具体地，将所述点云数据和所述惯性数据进行Fast-LIO处理，确定激光雷达在全局坐标系下的位置和姿态。首先将步骤S1中在tk时刻得到的点云数据、加速度和角速度数据代入Fast-LIO公式，可以求得激光雷达tk时刻在全局坐标系下的位置和姿态；随后根据已知的相机与激光雷达外参，求得相机tk时刻在全局坐标系下的位置和姿态。
步骤S3、根据所述激光雷达在全局坐标系下的位置和姿态，得到激光点云地图数据。
具体地，首先，对于步骤S1中在tk时刻得到的点云数据，使用高斯滤波去除噪声点，得到干净的点云数据。根据激光雷达tk时刻在全局坐标系下的位置和姿态，将干净的点云数据从激光坐标系转换到全局坐标系，记为Lk。随后，将t(k+m)时刻得到的干净点云数据从激光坐标系转换为全局坐标系，记为L(k+m)。最后，将全局坐标系下tk到t(k+m)时刻的干净点云数据进行叠加，得到全局坐标系下的激光点云地图数据L(t+k)，即L(t+k)={Lk,⋯,L(k+m)},m=1,2,⋯。使用Octree数据结构来组织和存储激光点云地图数据。
步骤S4、根据所述激光点云地图数据和所述彩色图像数据，得到三维语义地图。
具体地，利用SSD（Single Shot MultiBox Detector，单步多框目标检测）等目标检测网络对所述彩色图像数据进行目标检测和语义分割，生成二维标签，再根据步骤S3得到的激光点云地图数据、已知的相机内参、已知的激光雷达和相机外参，将步骤S1中采集并矫正的彩色图像数据与步骤S3中得到的激光点云地图数据进行对应，并根据激光点云地图数据的深度信息，恢复二维标签的深度信息，生成三维标签，从而形成三维语义地图。
作为具体示例，步骤S4包括：
步骤4.1、提前准备带有目标标注的彩色图像数据集和图像级别的语义分割标签，并使用准备好的数据集对SSD网络进行训练。
步骤4.2、为了考虑实时性，采用MobileNet网络作为SSD目标检测网络的前端来提取图像特征。SSD使用锚框（Anchor Boxes）来检测不同尺寸和宽高比的目标。在每个特征图层上，SSD使用目标检测头来预测锚框中是否包含目标以及目标的类别和边界框坐标。为了移除冗余的检测结果，使用非极大值抑制来选择最终的检测边界框。
步骤4.3、实时语义分割需要高效的解码器。为了在具有有限计算资源的环境中进行高效的分割任务，使用轻量级的金字塔池化解码器，通过在不同尺度上进行池化操作，捕获到不同尺度上的语义信息。输出与原始图像尺寸相匹配的二维标签图，其中每个像素包含其所属的类别信息。
步骤4.4、根据步骤S3得到的激光点云地图数据、已知的相机内参、已知的激光雷达和相机外参，将步骤S1中采集并矫正的彩色图像数据与步骤S3中得到的激光点云地图数据中同时刻的激光点云进行对应，并根据激光点云的深度信息，恢复步骤3.3中二维标签的深度信息，从而生成三维标签，从而将每个像素分配到语义类别。
步骤4.5、根据相机tk时刻在全局坐标系下的位置、姿态、生成三维标签Lablek和相机t(k+m)时刻在全局坐标系下的位置、姿态、生成三维标签Lable(k+m)，叠加得到全局坐标系下的三维语义地图LA(t+k)，即LA(t+k)={Lablek,⋯,Lable(k+m)},m=1,2,⋯。生成的三维语义地图LA(t+k)存储在Voxel Grid数据结构中，将每个体素与语义标签相关联，每个体素可以包含语义标签、物体属性、颜色等。
步骤S5、根据所述三维语义地图，得到物体级语义地图。
具体地，从步骤4中的三维语义地图图像中提取物体类别的二维边界框，获取每个物体类别的三维点云的中心点三维坐标和对应的长宽高。再根据PCA（PrincipalComponent Analysis，主成分分析）获取每个物体类别在全局坐标系下的特征向量，为每个类别构建一个包围盒，从而将物体用具有方向性的三维矩形框表征，完成物体级语义地图的构建。
作为具体示例，步骤S5包括：
步骤5.1、根据步骤4得到的三维语义地图，从图像中提取物体类别的二维边界框，并根据对应的激光点云的深度信息，恢复图像中物体类别的深度信息，将其映射到三维点云上，将点云中所有点的坐标取平均值来获得中心点坐标，并测量二维边界框在三维点云中的长宽高。
步骤5.2、根据每个物体类别的三维点云数据、中心点坐标，执行PCA分析以找到主成分，即特征向量。主成分是描述数据变化方向的向量，通常按照降序排列，最大的主成分描述了数据的主要变化方向。使用PCA计算的主成分来构建包围盒，第一个主成分定义了包围盒的方向，并将将包围盒的边界设置为主成分方向上的2倍标准差，以确保包围盒能够包含大多数点云数据，从而将物体用具有方向性的三维矩形框表征，从而将三维语义地图转变成物体级语义地图。生成的物体级语义地图可存储在Graph Database数据结构中，每个节点可以代表一个物体，节点之间的关系表示语义关联或拓扑关系，供自动驾驶、机器人导航和环境感知等领域的设备使用。
本公开实施例的一种多层级地图构建方法，通过综合激光雷达和视觉相机的数据，构建多层级地图，包括准确的三维点云信息、环境语义信息和物体级别的信息，实现了高精度、多层级、多维度的地图构建，从而提高了环境感知和决策的准确性，提供了高度精确的环境感知和定位服务。
如图2所示，本公开的另一实施例提供一种多层级地图构建系统，包括：
数据获取模块201，用于获取点云数据、彩色图像数据和惯性数据；
位置姿态模块202，用于根据所述点云数据和所述惯性数据，确定激光雷达在全局坐标系下的位置和姿态；
点云地图模块203，用于根据所述激光雷达在全局坐标系下的位置和姿态，得到激光点云地图数据；
三维语义地图模204，用于根据所述激光点云地图数据和所述彩色图像数据，得到三维语义地图；
物体级语义地图模块205，用于根据所述三维语义地图，得到物体级语义地图。
具体地，数据获取模块201还可对彩色图像数据进行矫正，根据已知的相机内参信息及畸变系数，将原始的彩色图像通过OpenCV中的函数cv::undistort()得到去畸变的彩色图像，即矫正的彩色图像。所述位置姿态模块202具体用于将所述点云数据和所述惯性数据进行Fast-LIO处理，确定激光雷达在全局坐标系下的位置和姿态。所述三维语义地图模块204具体用于利用目标检测网络对所述彩色图像数据进行目标检测和语义分割，生成二维标签；根据所述激光点云地图数据、相机内参和外参、激光雷达外参，将所述彩色图像数据与所述激光点云地图数据进行对应；根据激光点云地图数据的深度信息，恢复所述二维标签的深度信息，生成三维标签，得到三维语义地图。所述物体级语义地图模块205具体用于从所述三维语义地图图像中提取物体类别的二维边界框；获取每个所述物体类别的三维点云的中心点三维坐标和对应的长宽高；根据主成分分析算法获取每个所述物体类别在全局坐标系下的特征向量，为每个所述物体类别构建包围盒，得到物体级语义地图。
本实施例的一种多层级地图构建系统用于实现上文实施例的一种多层级地图构建方法，具体流程在此不作赘述。
本公开实施例的一种多层级地图构建系统，通过综合激光雷达和视觉相机的数据，构建多层级地图，包括准确的三维点云信息、环境语义信息和物体级别的信息，实现了高精度、多层级、多维度的地图构建，从而提高了环境感知和决策的准确性，提供了高度精确的环境感知和定位服务。
如图3所示，本公开的又一实施例提供一种电子设备，包括：
至少一个处理器301；以及，与所述至少一个处理器301通信连接的存储器302，用于存储一个或多个程序，当所述一个或多个程序被所述至少一个处理器301执行时，能使得所述至少一个处理器301实现上文所述的多层级地图构建方法。
其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器301。
处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。
可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (6)

1.一种多层级地图构建方法，其特征在于，所述方法包括：
获取点云数据、彩色图像数据和惯性数据；
根据所述点云数据和所述惯性数据，确定激光雷达在全局坐标系下的位置和姿态，具体为：首先将在tk时刻得到的点云数据、加速度和角速度数据代入Fast-LIO公式，求得激光雷达tk时刻在全局坐标系下的位置和姿态；随后根据已知的相机与激光雷达外参，求得相机tk时刻在全局坐标系下的位置和姿态；
根据所述激光雷达在全局坐标系下的位置和姿态，得到激光点云地图数据；
根据所述激光点云地图数据和所述彩色图像数据，得到三维语义地图，具体包括以下步骤：
步骤4.1、提前准备带有目标标注的彩色图像数据集和图像级别的语义分割标签，并使用准备好的数据集对SSD网络进行训练；
步骤4.2、采用MobileNet网络作为SSD目标检测网络的前端来提取图像特征；SSD使用锚框来检测不同尺寸和宽高比的目标；在每个特征图层上，SSD使用目标检测头来预测锚框中是否包含目标以及目标的类别和边界框坐标；为了移除冗余的检测结果，使用非极大值抑制来选择最终的检测边界框；
步骤4.3、使用轻量级的金字塔池化解码器，通过在不同尺度上进行池化操作，捕获到不同尺度上的语义信息；输出与原始图像尺寸相匹配的二维标签图，其中每个像素包含其所属的类别信息；
步骤4.4、根据得到的激光点云地图数据、已知的相机内参、已知的激光雷达和相机外参，将采集并矫正的彩色图像数据与得到的激光点云地图数据中同时刻的激光点云进行对应，并根据激光点云的深度信息，恢复二维标签的深度信息，生成三维标签，将每个像素分配到语义类别；
步骤4.5、根据相机tk时刻在全局坐标系下的位置、姿态、生成三维标签Lablek和相机t(k+m)时刻在全局坐标系下的位置、姿态、生成三维标签Lable(k+m)，叠加得到全局坐标系下的三维语义地图LA(t+k)，即LA(t+k)={Lablek ,⋯ ,Lable(k+m)} ,m=1，2 ,⋯；生成的三维语义地图LA(t+k)存储在Voxel Grid数据结构中，将每个体素与语义标签相关联，每个体素包含语义标签、物体属性、颜色；
根据所述三维语义地图，得到物体级语义地图。
2.根据权利要求1所述的方法，其特征在于，在获取所述彩色图像数据后，所述方法还包括：
矫正所述彩色图像数据。
3.根据权利要求1所述的方法，其特征在于，根据所述三维语义地图，得到物体级语义地图，包括：
从所述三维语义地图图像中提取物体类别的二维边界框；
获取每个所述物体类别的三维点云的中心点三维坐标和对应的长宽高；
根据主成分分析算法获取每个所述物体类别在全局坐标系下的特征向量，为每个所述物体类别构建包围盒，得到物体级语义地图。
4.一种多层级地图构建系统，其特征在于，所述系统包括：
数据获取模块，用于获取点云数据、彩色图像数据和惯性数据；
位置姿态模块，用于根据所述点云数据和所述惯性数据，确定激光雷达在全局坐标系下的位置和姿态，具体为：首先将在tk时刻得到的点云数据、加速度和角速度数据代入Fast-LIO公式，求得激光雷达tk时刻在全局坐标系下的位置和姿态；随后根据已知的相机与激光雷达外参，求得相机tk时刻在全局坐标系下的位置和姿态；
点云地图模块，用于根据所述激光雷达在全局坐标系下的位置和姿态，得到激光点云地图数据；
三维语义地图模块，用于根据所述激光点云地图数据和所述彩色图像数据，得到三维语义地图，具体为：
步骤4.1、提前准备带有目标标注的彩色图像数据集和图像级别的语义分割标签，并使用准备好的数据集对SSD网络进行训练；
步骤4.2、采用MobileNet网络作为SSD目标检测网络的前端来提取图像特征；SSD使用锚框来检测不同尺寸和宽高比的目标；在每个特征图层上，SSD使用目标检测头来预测锚框中是否包含目标以及目标的类别和边界框坐标；为了移除冗余的检测结果，使用非极大值抑制来选择最终的检测边界框；
步骤4.3、使用轻量级的金字塔池化解码器，通过在不同尺度上进行池化操作，捕获到不同尺度上的语义信息；输出与原始图像尺寸相匹配的二维标签图，其中每个像素包含其所属的类别信息；
步骤4.4、根据得到的激光点云地图数据、已知的相机内参、已知的激光雷达和相机外参，将采集并矫正的彩色图像数据与得到的激光点云地图数据中同时刻的激光点云进行对应，并根据激光点云的深度信息，恢复二维标签的深度信息，生成三维标签，将每个像素分配到语义类别；
步骤4.5、根据相机tk时刻在全局坐标系下的位置、姿态、生成三维标签Lablek和相机t(k+m)时刻在全局坐标系下的位置、姿态、生成三维标签Lable(k+m)，叠加得到全局坐标系下的三维语义地图LA(t+k)，即LA(t+k)={Lablek ,⋯ ,Lable(k+m)} ,m=1，2 ,⋯；生成的三维语义地图LA(t+k)存储在Voxel Grid数据结构中，将每个体素与语义标签相关联，每个体素包含语义标签、物体属性、颜色；
物体级语义地图模块，用于根据所述三维语义地图，得到物体级语义地图。
5.根据权利要求4所述的系统，其特征在于，所述物体级语义地图模块具体用于：
从所述三维语义地图图像中提取物体类别的二维边界框；
获取每个所述物体类别的三维点云的中心点三维坐标和对应的长宽高；
根据主成分分析算法获取每个所述物体类别在全局坐标系下的特征向量，为每个所述物体类别构建包围盒，得到物体级语义地图。
6.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器，用于存储一个或多个程序，当所述一个或多个程序被所述至少一个处理器执行时，能使得所述至少一个处理器实现权利要求1至3任一项所述的多层级地图构建方法。
CN202410090406.7A 2024-01-23 2024-01-23 一种多层级地图构建方法、系统及电子设备 Active CN117611762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410090406.7A CN117611762B (zh) 2024-01-23 2024-01-23 一种多层级地图构建方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410090406.7A CN117611762B (zh) 2024-01-23 2024-01-23 一种多层级地图构建方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN117611762A CN117611762A (zh) 2024-02-27
CN117611762B true CN117611762B (zh) 2024-04-30

Family

ID=89948328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410090406.7A Active CN117611762B (zh) 2024-01-23 2024-01-23 一种多层级地图构建方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN117611762B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法
CN111665842A (zh) * 2020-06-09 2020-09-15 山东大学 一种基于语义信息融合的室内slam建图方法及系统
CN111912419A (zh) * 2020-08-28 2020-11-10 清华大学苏州汽车研究院（吴江） 基于激光雷达的高精度语义导航地图构建方法和装置
CN115035260A (zh) * 2022-05-27 2022-09-09 哈尔滨工程大学 一种室内移动机器人三维语义地图构建方法
CN115128628A (zh) * 2022-06-01 2022-09-30 北京理工大学 基于激光slam和单目视觉的道路栅格地图构建方法
CN115655262A (zh) * 2022-12-26 2023-01-31 广东省科学院智能制造研究所 基于深度学习感知的多层级语义地图构建方法和装置
CN117152249A (zh) * 2023-08-25 2023-12-01 杭州电子科技大学 基于语义一致性的多无人机协同建图与感知方法及系统
CN117146841A (zh) * 2023-08-07 2023-12-01 山东浪潮科学研究院有限公司 一种基于激光雷达和双目视觉结合的语义地图构建方法
CN117232499A (zh) * 2023-09-20 2023-12-15 清华大学苏州汽车研究院（吴江） 多传感器融合的点云地图构建方法、装置、设备及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法
CN111665842A (zh) * 2020-06-09 2020-09-15 山东大学 一种基于语义信息融合的室内slam建图方法及系统
CN111912419A (zh) * 2020-08-28 2020-11-10 清华大学苏州汽车研究院（吴江） 基于激光雷达的高精度语义导航地图构建方法和装置
CN115035260A (zh) * 2022-05-27 2022-09-09 哈尔滨工程大学 一种室内移动机器人三维语义地图构建方法
CN115128628A (zh) * 2022-06-01 2022-09-30 北京理工大学 基于激光slam和单目视觉的道路栅格地图构建方法
CN115655262A (zh) * 2022-12-26 2023-01-31 广东省科学院智能制造研究所 基于深度学习感知的多层级语义地图构建方法和装置
CN117146841A (zh) * 2023-08-07 2023-12-01 山东浪潮科学研究院有限公司 一种基于激光雷达和双目视觉结合的语义地图构建方法
CN117152249A (zh) * 2023-08-25 2023-12-01 杭州电子科技大学 基于语义一致性的多无人机协同建图与感知方法及系统
CN117232499A (zh) * 2023-09-20 2023-12-15 清华大学苏州汽车研究院（吴江） 多传感器融合的点云地图构建方法、装置、设备及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法";梅天灿等;《电子与信息学报》;20230531;第45卷(第5期);第1737-1746页 *
"基于三维激光点云和图像数据融合的语义地图构建";李凯;《中国优秀硕士论文全文数据库 信息科技辑》;20230215;第6-7、32-33、38、47页 *
"基于视觉SLAM 的物体实例识别与语义地图构建";吴皓等;《华 中 科 技 大 学 学 报（自 然 科 学 版）》;20190930;第47卷(第9期);第48-54页 *
刘祥龙等.《飞桨PaddlePaddle深度学习实践》.机械工业出版社,2020,第228-229页. *
李凯."基于三维激光点云和图像数据融合的语义地图构建".《中国优秀硕士论文全文数据库 信息科技辑》.2023,第6-7、32-33、38、47页. *

Also Published As

Publication number Publication date
CN117611762A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN111258313B (zh) 多传感器融合slam系统及机器人
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN112233177B (zh) 一种无人机位姿估计方法及系统
CN113359810A (zh) 一种基于多传感器的无人机着陆区域识别方法
CN111275763A (zh) 闭环检测系统、多传感器融合slam系统及机器人
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与系统
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
CN113238554A (zh) 一种基于激光与视觉融合slam技术的室内导航方法及系统
CN115307646B (zh) 一种多传感器融合的机器人定位方法、系统及装置
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN115371665A (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
CN112017236A (zh) 一种基于单目相机计算目标物位置的方法及装置
CN116953723A (zh) 机车检修车间环境中移动机器人即时定位与地图构建方法
CN117685953A (zh) 面向多无人机协同定位的uwb与视觉融合定位方法及系统
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
CN114821363A (zh) 一种基于语义信息匹配的无人机定位建图方法及系统
CN117115414B (zh) 基于深度学习的无gps无人机定位方法及装置
CN114529585A (zh) 基于深度视觉和惯性测量的移动设备自主定位方法
CN117075158A (zh) 基于激光雷达的无人变形运动平台的位姿估计方法及系统
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN117611762B (zh) 一种多层级地图构建方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant