CN115690338A - 地图构建方法、装置、设备及存储介质 - Google Patents

地图构建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115690338A
CN115690338A CN202110873182.3A CN202110873182A CN115690338A CN 115690338 A CN115690338 A CN 115690338A CN 202110873182 A CN202110873182 A CN 202110873182A CN 115690338 A CN115690338 A CN 115690338A
Authority
CN
China
Prior art keywords
semantic
pose
map
dimensional
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110873182.3A
Other languages
English (en)
Inventor
刘光伟
赵季
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN202110873182.3A priority Critical patent/CN115690338A/zh
Priority to EP22186622.1A priority patent/EP4124829B1/en
Priority to AU2022209224A priority patent/AU2022209224A1/en
Priority to US17/816,274 priority patent/US20230083965A1/en
Priority to JP2022122263A priority patent/JP2023021098A/ja
Publication of CN115690338A publication Critical patent/CN115690338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种地图构建方法、装置、设备及存储介质。该方法包括：获取预设传感器采集的传感器数据；根据所述传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系；根据位姿约束关系和语义约束关系进行联合优化求解，确定语义对象的语义结果和可移动物体的位姿结果，以及根据语义结果和位姿结果构建语义地图和点云地图。通过采用上述技术方案，将语义地图的构建过程和点云地图的构建过程相融合，利用位姿约束关系和语义约束关系进行联合求解，使得语义结果和位姿结果能够形成相互约束关系，可以快速准确地得到语义地图和点云地图，进而得到更加精准的高精度地图。

Description

地图构建方法、装置、设备及存储介质
技术领域
本发明实施例涉及高精度地图技术领域，尤其涉及地图构建方法、装置、设备及存储介质。
背景技术
随着自动驾驶技术、智能机器人技术的发展，如何保证自动驾驶车辆和智能机器人的精确行驶成为了一个热点问题。在自动驾驶技术中，一般会应用高精度地图(HighDefinition Map)，高精度地图主要包括点云地图和语义地图。其中，点云地图可以是包含空间位置信息的三维(3-dimension，3D)点云，主要用于基于配准的在线定位；语义地图可以是包括车道线、路杆或红绿灯等道路信息的地图，可用于在线定位以及路径规划等，其中，车道线、路杆或红绿灯等交通要素可称为语义对象。
目前，构建高精度点云地图和车道线地图的方法主要有两种：一是利用高精度的组合导航设备计算实时位姿，然后根据得到的位姿将激光雷达扫描得到的点云转换到世界坐标系下，累计一段时间或者一段距离内的数据即可得到稠密的点云地图，之后根据不同物体在点云地图中的反射率的不同，人工绘制出语义地图。二是通过传统视觉同时定位和建图(Simultaneous Localization and Mapping，SLAM)方法实现位姿估计和稀疏点云地图的构建，在此基础上对二维(2-dimension，2D)图像进行语义分割得到道路信息相关的点，进而构建出语义地图。
然而，现有方案中，人工绘制车道线的方式成本高且效率低，另外，点云的反射率容易受外界因素干扰，如路面材质、湿度以及激光雷达安装高度等，在真实道路场景中，难以通过点云反射率准确识别出所有道路信息。而视觉方法直接获得的是2D信息，精度较低，所构建的语义地图误差较大。可见，现有的高精地图的构建方案仍不够完善，需要改进。
发明内容
本发明实施例提供了地图构建方法、装置、设备及存储介质，可以优化现有的高精度地图的构建方案。
第一方面，本发明实施例提供了一种地图构建方法，包括：
获取预设传感器采集的传感器数据；
根据所述传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系；
根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定所述语义对象的语义结果和所述可移动物体的位姿结果；以及
根据所述语义结果和所述位姿结果构建语义地图和点云地图。
第二方面，本发明实施例提供了一种地图构建装置，包括：
数据获取模块，用于获取预设传感器采集的传感器数据；
约束关系建立模块，用于根据，所述传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系；
联合求解模块，用于根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定所述语义对象的语义结果和所述可移动物体的位姿结果；
地图构建模块，用于根据所述语义结果和所述位姿结果构建语义地图和点云地图。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的地图构建方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的地图构建方法。
本发明实施例中提供的地图构建方案，根据预设传感器采集的传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系，根据位姿约束关系和语义约束关系进行联合优化求解，确定语义结果和可移动物体的位姿结果，最后根据语义结果和位姿结果构建语义地图和点云地图。通过采用上述技术方案，将语义地图的构建过程和点云地图的构建过程相融合，利用位姿约束关系和语义约束关系进行联合求解，使得语义结果和位姿结果能够形成相互约束关系，可以快速准确地得到语义地图和点云地图，进而得到更加精准的高精度地图，有利于提高可移动物体的自主移动性能。
附图说明
图1为本发明实施例提供的一种地图构建方法的流程示意图；
图2为本发明实施例提供的又一种地图构建方法的流程示意图；
图3为本发明实施例提供的一种地图构建过程的原理示意图；
图4为本发明实施例提供的大桥场景的地图构建结果示意图；
图5为本发明实施例提供的隧道场景的地图构建结果示意图；
图6为本发明实施例提供的一种地图构建装置的结构框图；
图7为本发明实施例提供的一种计算机设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了使本领域的技术人员更好的了解本申请，下面先对本申请实施例中出现的部分技术术语进行解释如下：
可移动物体：是指车辆、移动机器人以及飞行器等可进行地图采集的物体，可移动物体上可以搭载各类型传感器，如激光雷达和相机等。
同时定位和建图：未知环境中，可移动物体根据位置估计和地图进行自身定位，同时根据自身定位增量式构建地图。
建图(Mapping)：根据估计得到的车辆或移动机器人实时位姿以及激光雷达等视觉传感器的采集数据，构建出描述当前场景的高精度地图。
位姿(Pose)：位置和朝向的总称，包含6个自由度，其中包括3个位置自由度和3个朝向自由度。朝向的3个自由度通常用俯仰角(Pitch)、翻滚角(Roll)和偏航角(Yaw)来表示。
帧(Frame)：传感器完成一次观测所接收到的测量数据，如相机的一帧数据为一张图片，激光雷达的一帧数据为一组激光点云。
配准(Registration)：对同一区域在不同时刻、不同位置的观测结果进行匹配，得到两个观测时刻间的相对位姿关系。
非线性优化(Nonlinear Optimization)：求解由一系列未知实函数组成的组方程和不等式的最优化问题。
关键帧(Keyframe)：使用非线性优化方法或其他方法进行多传感器融合时，为了降低系统计算量，通常当距离改变量或者姿态改变量超过一定阈值时创建一个关键帧，且优化时一般对关键帧进行优化。
GNSS：Global Navigation Satellite System，全球导航卫星系统，可包括GPS或北斗定位系统等。
GPS：Global Positioning System，全球定位系统。
IMU：Inertial Measurement Unit，惯性测量单元，是测量物体三轴姿态角(或角速率)以及加速度的装置。
组合导航设备：例如包括GNSS和IMU的组合导航设备。
在本申请的一些实施例中，术语“车辆”广泛地解释为包括任何移动物体，包括例如飞行器、船只、航天器、汽车、卡车、厢式货车、半挂车、摩托车、高尔夫球车、越野车辆、仓库运输车辆或农用车以及行驶在轨道上的运输工具，例如电车或火车以及其它有轨车辆。本申请中的“车辆”通常可以包括：动力系统、传感器系统、控制系统、外围设备和计算机系统。在一些实施例中，车辆可以包括更多、更少或者不同的系统。
图1为本发明实施例提供的一种地图构建方法的流程示意图，该方法可以适用于高精度地图构建的应用场景，可以由地图构建装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。这里的计算机设备可以集成到可移动物体中，也可外接于可移动物体或与可移动物体进行通信。如图1所示，该方法包括：
步骤101、获取预设传感器采集的传感器数据。
示例性的，预设传感器可搭载于所述可移动物体上，具体搭载方式不做限定，可以集成于可移动物体中或外接于可移动物体上等。预设传感器的类型不做限定，可以是任意的用于建立位姿约束关系的传感器，例如，可以包括组合导航设备(GNSS/IMU)INS、IMU、轮速计、图像采集装置、点云采集装置、加速度计和陀螺仪中的一个或多个，部分传感器还可集成到一起，例如IMU中可以包括加速度计和陀螺仪等，GNSS和IMU可以采用为组合导航设备。在一些实施例中，图像采集装置例如为相机，点云采集装置例如为激光雷达、毫米波雷达、超声波雷达等，当然不限于此。
步骤102、根据传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系。
在一些实施例中，本公开根据第一组传感器采集的传感器数据建立可移动物体的位姿约束关系，根据第二组传感器采集的传感器数据建立语义对象的语义约束关系。该语义对象为可移动物体所在环境内的语义对象。位姿约束关系包含与位姿相关的状态变量，语义约束关系包括语义相关的状态变量。该第一组传感器例如可包括组合导航设备、轮速计、激光采集装置等，当然也可以包括图像采集装置。第二组传感器包括图像采集装置和点云采集装置，本公开根据图像采集装置采集的图像和激光采集装置采集的点云生成语义对象的三维空间表示，通过联合优化后得到语义对象的状态量。
本申请实施例中，位姿约束关系的具体类型不做限定，例如可以是全局位姿约束关系和局部一致性约束关系，其中，局部一致性约束关系例如可包括IMU预积分约束关系、速度约束关系和点云配准约束关系等等。可以根据可移动物体中的预设传感器的不同选择建立不同的位姿约束关系，也可根据所需建立的位姿约束关系为可移动物体配置相应的预设传感器等。在建立位姿约束关系时，可以基于传感器数据建立相应的误差函数，作为位姿约束关系，误差函数中包含的状态变量以及误差函数的具体表达形式不做限定，可以根据实际情况进行设置。
在语义地图中，可能包含很多类型的语义对象，例如车道线、路杆、路牌、马路牙子以及红绿灯等，本发明实施例中，在建立语义约束关系时所涉及的语义对象可以是一个或多个，具体不做限定，需要说明的是，当存在多个语义对象时，也可能包含同类型的语义对象，例如，语义对象类型为车道线，在建立语义约束关系时可能涉及多条车道线。
在建立语义约束关系时，可以有效结合图像中的2D信息和点云中的3D信息，提升语义对象3D信息的计算精度，从而有利于构建出高精度的语义地图，具体结合方式可以根据实际情况设置，可根据2D信息和3D信息建立相应的误差函数，作为语义约束关系，误差函数中包含的状态变量以及误差函数的具体表达形式不做限定。
步骤103、根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定所述语义对象的语义结果和所述可移动物体的位姿结果。
示例性的，可根据位姿约束关系对应的误差函数和语义约束关系对应的误差函数建立联合误差函数，采用一定的求解方式对该联合误差函数进行求解，得到各状态变量的估计值，将估计值中与语义相关的状态变量的估计值确定为语义结果，将估计值中与位姿相关的状态变量的估计值确定为可移动物体的位姿结果。
步骤104、根据所述语义结果和所述位姿结果构建语义地图和点云地图。
示例性的，可对语义结果进行一定处理得到语义对象的3D轮廓，再根据语义对象的3D轮廓构建语义地图。可根据位姿结果对点云进行叠加，得到点云地图。
本发明实施例中提供的地图构建方法，根据预设传感器采集的传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系，根据位姿约束关系和语义约束关系进行联合优化求解，确定语义结果和可移动物体的位姿结果，最后根据语义结果和位姿结果构建语义地图和点云地图。通过采用上述技术方案，将语义地图的构建过程和点云地图的构建过程相融合，利用位姿约束关系和语义约束关系进行联合求解，使得语义结果和位姿结果能够形成相互约束关系，可以快速准确地得到语义地图和点云地图，进而得到更加精准的高精度地图，有利于提高可移动物体的自主移动性能。
在一些实施例中，传感器数据采集的数据包括图像采集装置采集的图像和点云采集装置采集的点云，根据传感器数据建立语义对象的语义约束关系，包括：根据所述图像和所述点云，确定各语义对象对应的三维轮廓的观测值；基于所述三维轮廓的观测值建立语义约束关系。这样设置的好处在于，基于语义对象的3D轮廓的观测值建立语义约束关系，3D相比于2D轮廓可以更好地体现语义对象之间以及语义对象与可移动物体之间的空间位置关系，且结合图像和点云，可以提高语义对象3D信息的计算精度。
在一些实施例中，所述根据所述图像和所述点云，确定语义对象对应的三维轮廓的观测值，包括：对所述图像进行语义分割处理，得到语义对象所在区域的二维轮廓；将所述点云投射到所述图像中，并根据所述二维轮廓确定所述语义对象对应的目标三维点；对所述目标三维点进行拟合，得到所述语义对象对应的三维轮廓的观测值。这样设置的好处在于，可以得到更加精准的3D轮廓观测值。
其中，语义分割可以采用深度学习方式实现，具体可以根据语义对象的类型有针对性地进行相关模型的训练，进而准确地分割出语义对象在图像中的所处区域。随后，可通过图像采集装置的内参以及图像采集装置与点云采集装置之间的外参将点云中的3D点投射到经过语义分割后的图像中，可以将落入语义对象所在区域的二维轮廓中的点确定为目标三维点，根据语义对象3D轮廓的特点对目标三维点进行拟合后，得到语义对象对应的三维轮廓的观测值。
在一些实施例中，所述对所述目标三维点进行拟合，得到所述语义对象对应的三维轮廓的观测值，包括：对所述目标三维点进行平面拟合或直线拟合，得到对应的空间方程；根据所述二维轮廓的像素坐标、所述图像采集装置的内参以及所述图像采集装置与所述点云采集装置之间的外参确定所述目标三维点的三维坐标；根据所述空间方程和所述目标三维点的三维坐标对所述目标三维点进行拟合，得到语义对象对应的三维轮廓的观测值。这样设置的好处在于，可以更加精准地得到语义对象对应的3D轮廓的观测值。
示例性的，可以根据语义对象的3D轮廓的特点将语义对象抽象为相应的3D形状，对于不同的语义对象，还可设定不同的表征量对相应的3D轮廓进行表征。例如，表面积较大的且厚度较小的语义对象可以抽象为平面图形，并以法向量等表征该平面图形在空间中的相对位置或角度，从而得到空间图形，在进行拟合时，可以进行平面拟合，若厚度较大，则可以抽象为立方体等形状，对各个面分别进行平面拟合等；又如，柱形语义对象可以抽象为圆柱体，若半径较小，可以进行直线拟合。另外，需要说明的是，同一语义对象可能形状比较复杂，可以进行拆解，例如拆分为圆柱体和平面图像，此时可以针对该语义对象的不同组成部分分别进行拟合，得到对应的空间方程。目标三维点的三维坐标可根据二维轮廓的像素坐标、图像采集装置的内参以及图像采集装置与点云采集装置之间的外参来确定。采用预设分析方式结合空间方程和目标三维点的三维坐标拟合出语义对象对应的3D轮廓的观测值，其中，预设分析方式例如可以是主成分分析(Principal Component Analysis，PCA)方式。
车道线是语义地图中最常见的语义对象之一，在一些实施例中，所述语义对象包括车道线，所述车道线对应的三维轮廓包括空间矩形(也可称为3D矩形)，所述空间矩形的表征量可包括中心点、法向量、长边向量、长度和宽度中的至少一种，所述车道线对应的目标三维点对应的拟合方式为平面拟合，从而得到对应的空间平面方程。其中，每段虚线车道线对应一个空间矩形，每条实线车道线根据其长度和曲率对应多个空间矩形。这样设置的好处在于，可以精准地对车道线的3D轮廓进行表征。虚线车道线一般由多段组成，每段虚线车道线的几何结构可近似为矩形，对于各段虚线，可以使用一个空间矩形进行表示。实线车道线的长度通常较长，且道路经常存在一定的曲率，为了保证建图精度，可以根据其长度和曲率将长实线分为多个短线段，也即用连续的多个空间矩形来表示实线，对于各个线段分别进行拟合，从而得到多个连续空间矩形的几何信息。
路杆(可包括灯杆或其他杆状路标)是公路场景中的语义地图中最常见的路标之一，通过将观测到的路杆与先验地图进行匹配定位，可有效提升定位的精度。在一些实施例中，所述语义对象包括路杆，所述路杆对应的三维轮廓包括柱体，所述柱体的表征量包括顶面中心点、底面中心点和半径中的至少一种；所述路杆对应的目标三维点对应的拟合方式为直线拟合，从而得到对应的空间直线方程。这样设置的好处在于，可以精准地对路杆的3D轮廓进行表征。
在一些实施例中，所述基于所述三维轮廓的观测值建立语义约束关系，包括：对于预设滑动窗口中的每个关键帧，建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，并建立当前关键帧中各三维轮廓所对应的误差函数；根据所述预设滑动窗口中各关键帧分别对应的误差函数，建立语义约束关系。这样设置的好处在于，通过融合预设滑动窗口中的各关键帧，可以有效提升建图精度。
示例性的，预设滑动窗口的大小可以根据实际情况预先设置或者根据预先设定的规则动态设置，预设滑动窗口中通常包含多个关键帧，可以维护一个动态更新的语义对象状态变量集合，预设滑动窗口中的每个关键帧拟合得到的三维轮廓可以与语义对象状态变量集合进行关联，进而建立各三维轮廓对应的误差函数，对这些误差函数进行整合，可以得到语义约束关系。
在一些实施例中，对于车道线，所述建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，包括：对于当前关键帧中的每个空间矩形，在同一坐标系下计算当前空间矩形的中心点的观测值与车道线状态变量集合中的各矩形状态变量的中心点的第一距离，若存在小于第一预设距离阈值的第一距离，则将当前空间矩形与对应的矩形状态变量建立关联，若不存在，则在车道线状态变量集合中创建当前空间矩形对应的矩形状态变量。这样设置的好处在于，准确地对不同关键帧中的同一车道线矩形的数据进行关联，当随着可移动物体的行进，出现新的车道线矩形时，及时在车道线状态变量集合中创建对应的矩形状态变量，保证车道线状态变量集合的准确动态更新。其中，第一预设距离阈值可根据实际需求设置。
在一些实施例中，对于路杆，所述建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，包括：对于当前关键帧中的每个柱体，在同一坐标系下计算当前柱体的顶面中心点的观测值与路杆状态变量集合中的各矩形状态变量的顶面中心的第三距离，以及计算当前柱体的底面中心点的观测值与车道线状态变量集合中的各矩形状态变量的底面中心的第四距离，若同时满足第三距离小于第二预设距离阈值以及第四距离小于第三预设距离阈值，则将当前柱体与对应的柱体状态变量建立关联，若不存在，则在路杆状态变量集合中创建当前柱体对应的柱体状态变量。这样设置的好处在于，准确地对不同关键帧中的同一路杆柱体的数据进行关联，当随着可移动物体的行进，出现新的路杆柱体时，及时在路杆状态变量集合中创建对应的柱体状态变量，保证路杆状态变量集合的准确动态更新。其中，第二预设距离阈值和第三预设距离阈值可根据实际需求设置。
在一些实施例中，当前关键帧中的误差函数包括空间矩形对应的车道线误差函数和/或柱体对应的路杆误差函数，所述车道线误差函数包括各虚线车道线的误差函数和各实线车道线的误差函数。这样设置的好处在于，可以丰富语义地图中的语义对象类型，从而进一步提升建图精度。
在一些实施例中，虚线车道线的误差函数包括：关于中心点、法向量、长边向量、长度和宽度的状态变量与观测值的误差函数，以及法向量和长边向量的状态变量分别与单位向量的误差函数。这样设置的好处在于，可以从多个维度更加全面地构建虚线车道线的误差函数，有利于提高建图精度。
在一些实施例中，实线车道线的误差函数包括：关于法向量、长边向量和宽度的状态变量与观测值的误差函数，中心点的状态变量到观测中心线的第二距离，以及法向量和长边向量的状态变量分别与单位向量的误差函数。这样设置的好处在于，由于实线车道线是连续的，因此可以省去关于长度的误差函数，兼顾实线车道线的误差函数的全面性和构建速度，有利于提高建图精度以及控制联合求解的计算量。
在一些实施例中，路杆误差函数包括：关于顶面中心点、底面中心点和半径的状态变量与观测值的误差函数。
需要说明的是，在构建上述各语义对象对应的误差函数时，若状态变量与观测值未处于同一坐标系，可以先将两者转换至同一坐标系下，具体转换至何种坐标系可以根据实际情况设置，一般可以与状态变量一致，如世界坐标系。
在一些实施例中，在所述位姿约束关系包括全局位姿约束关系的情况下，根据采集的传感器数据建立可移动物体的全局位姿约束关系包括：根据上一时刻的位姿和上一时刻至当前时刻对应的位姿改变量，估算当前时刻的当前位姿，其中，位姿改变量通过IMU积分得到；若估算的当前位姿与位姿观测值的差距小于预设差距阈值，则根据位姿的状态变量和位姿观测值建立当前时刻对应的全局位姿约束关系；否则，丢弃当前时刻对应的全局位姿约束关系。这样设置的好处在于，提高全局位姿的精度。这里，采集的传感器数据可以包括组合导航设备采集的传感器数据，位姿观测值可以是组合导航设备的位姿观测值，其可以包括GNSS采集的传感器数据，也可以包括IMU采集的传感器数据。当然，采集的传感器数据也可以是单个传感器所采集的数据，位姿观测值也可以包括其中单个传感器的位姿观测值。组合导航设备是可移动物体进行建图时常用的传感器，可提供较高精度的实时全局位姿，但遮挡或多路径效应等因素对定位精度会产生一定影响，甚至可能会定位失败，而错误的全局位置可能会严重降低精度，本发明实施例中，根据上一时刻位姿以及IMU积分得到的位姿改变量，推算出当前时刻的位姿，若推算的位姿与组合导航设备观测的位姿的差别超过设定的阈值，则认为该时刻的组合导航设备观测是不准确的，则进行丢弃，避免对全局位姿的精度产生影响。
在一些实施例中，所述根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定所述语义对象的语义结果和所述可移动物体的位姿结果，包括：根据所述位姿约束关系和所述语义约束关系构建预设滑动窗口内各关键帧对应的联合优化目标函数；针对所述联合优化目标函数进行求解，得到各状态变量的估计值；其中，将语义对象状态变量的估计值记为语义结果，将位置状态变量和姿态状态变量的估计值记为位姿结果。这样设置的好处在于，可以利用预设滑动窗口合理确定联合优化的数据范围，兼顾建图精度和建图效率。本公开进行联合优化的状态变量集合中既包含代表位姿的状态量、也包含代表语义对象的状态量，从而在联合优化过程中同时实现了位姿状态量和语义对象状态量的联合优化。其中，具体的求解方式不做限定，可以是非线性优化求解方式，例如Ceres-Solver。
在一些实施例中，根据所述语义结果和所述位姿结果构建语义地图和点云地图，包括：根据所述语义结果和几何关系计算语义对象的角点；对各角点进行连接处理，得到语义对象的3D轮廓；综合各语义对象的3D轮廓，得到语义对象的语义地图；根据所述位姿结果对点云进行叠加，得到点云地图；其中，对于虚线车道线，3D轮廓与空间矩形的四个角点顺次连线相对应，对于实线车道线，3D轮廓与按照空间顺序顺次连接长度方向上的角点得到的两条边线相对应。这样设置的好处在于，有效利用语义结果和位姿结果快速准确地构建语义地图和点云地图，输出给下游模块使用。
在一些实施例中，还可以将语义地图和点云地图融合构建在一张地图中，如点云地图中叠加语义地图，呈现上述语义结果，提高地图呈现的可视化效果和便利性，降低数据量。
在一些实施例中，所述点云配准约束通过以下方式得到：对于预设滑动窗口内各关键帧的点云，根据点云中的点的曲率信息将各点划分为线特征点和平面特征点；对于预设滑动窗口内的每个关键帧，将上一关键帧的位姿与IMU积分得到的帧间位姿改变量进行叠加，得到当前关键帧对应的初始配准位姿；针对线特征点和平面特征点，分别根据初始配准位姿在局部地图中进行最近邻搜索，得到对应的最近邻特征点集，所述局部地图包括所述预设滑动窗口中各关键帧的特征点；根据对应的最近邻特征点集分别建立线误差函数和面误差函数；根据所述预设滑动窗口内的各线误差函数和面误差函数确定点云配准约束。这样设置的好处在于，采用帧到局部地图(Frame-to-Local Map)的配准方式，可以提高点云配准的精度和效率，且同样是针对预设滑动窗口内的关键帧进行配准，可以与语义约束关系的建立相关联，配合后续的联合优化求解。
可选的，在建立点云配准约束之前，可以根据所采用的点云采集装置的特点对点云数据进行预处理。例如，机械式激光雷达的观测数据可能会因可移动物体的运动而产生运动畸变，对于每一帧激光雷达数据，可先对点云进行运动补偿。
在一些实施例中，根据线特征点对应的最近邻特征点集建立线误差函数，包括：根据线特征点对应的最近邻特征点集进行直线拟合，根据线特征点到对应的拟合直线的距离确定线误差函数。根据平面特征点对应的最近邻特征点集建立面误差函数，包括：根据平面特征点对应的最近邻特征点集进行平面拟合，根据平面特征点到对应的拟合平面的距离确定面误差函数。这样设置的好处在于，根据线特征点和平面特征点各自的特点，准确构建相应的误差函数，进一步提升建图精度。
图2为本发明实施例提供的又一种地图构建方法的流程示意图，图3为本发明实施例提供的一种地图构建过程的原理示意图，可结合图2和图3对本发明实施例进行理解，为了便于说明，以可移动物体为车辆为例。
如图2所示，该方法可包括：
步骤201、根据预设传感器采集的传感器数据建立车辆的位姿约束关系。
本发明实施例中，预设传感器可包括组合导航设备(如GNSS/IMU)、惯性测量单元IMU、轮速计和激光雷达，其中，IMU中可包括加速度计和陀螺仪，IMU可集成于组合导航设备中。由于对多个预设传感器的观测进行融合，所以可能涉及到IMU坐标系(可记为I)、车体坐标系(可记为B)、激光雷达坐标系(可记为L)以及世界坐标系(可记为W)。待优化的状态变量包括世界坐标系下的IMU位置
Figure BDA0003189855280000161
姿态
Figure BDA0003189855280000162
速度
Figure BDA0003189855280000163
陀螺仪零偏bg、加速度计零偏ba、车道线的几何参数MW以及路杆的几何参数NW。为简化描述，可将
Figure BDA0003189855280000164
MW以及NW简记为P、R、v、M以及N，其中，P、R以及v可统称为位置状态变量，M和N可统称为姿态状态变量。
本发明实施例中，所述位姿约束关系包括全局位姿约束关系、IMU预积分约束关系、速度约束关系和点云配准约束关系。下面对各位姿约束关系的建立过程进行示意性介绍。
(1)全局位姿约束关系
全局位姿约束关系也可称为绝对位姿约束，根据上一时刻的位姿和上一时刻至当前时刻对应的位姿改变量，估算当前时刻的当前位姿，其中，位姿改变量通过IMU积分得到，若估算的当前位姿与组合导航设备的位姿观测值的差距小于预设差距阈值，则根据位姿的状态变量和组合导航设备的位姿观测值建立当前时刻对应的全局位姿约束关系；否则，丢弃当前时刻对应的全局位姿约束关系。
全局位姿约束关系可通过以下表达式表示：
Figure BDA0003189855280000171
其中，rI(R,P)表示全局位姿约束，可简称为rI，
Figure BDA0003189855280000172
表示组合导航设备在世界坐标系下的位置观测值，
Figure BDA0003189855280000173
表示组合导航设备在世界坐标系下的姿态观测值，log()表示从李群到李代数的映射。
(2)IMU预积分约束关系
IMU可以实时测量角速度和加速度，通过进行预积分可以得到关于IMU位置、姿态以及速度的约束，增加状态估计的平滑性，所述IMU预积分约束通过以下表达式表示：
Figure BDA0003189855280000174
其中，rB(R,P,v,ba,bg)表示IMU预积分约束，可简称为rB，t表示时刻，g表示重力加速度，Δt表示t+1时刻与t时刻的时间差，ΔPt(t+1)表示t时刻到t+1时刻之间的位置改变量，
Figure BDA0003189855280000175
表示t时刻到t+1时刻之间的姿态改变量的倒数，Δvt(t+1)表示t时刻到t+1时刻之间的速度改变量，log()表示从李群到李代数的映射。
(3)速度约束关系
轮速计可以测量车轮在世界坐标系下的运行速度：
Figure BDA0003189855280000181
其中，
Figure BDA0003189855280000182
表示轮速计的观测值，v表示速度状态变量，
Figure BDA0003189855280000183
是第二项为1、其余项为0的3×1向量，nv表示轮速计的测量噪声。
结合IMU坐标系与车体坐标系间的外参，可得IMU坐标系下的速度为：
Figure BDA0003189855280000184
其中，ω表示IMU陀螺仪测量的角速度，
Figure BDA0003189855280000185
为车体坐标系到IMU坐标系的杆臂值，可通过外参标定得到。
综上，根据轮速计和陀螺仪观测可建立关于速度的误差函数：
Figure BDA0003189855280000186
其中，rV(v)表示IMU预积分约束，可简称为rV。
(4)点云配准约束关系
对于预设滑动窗口(以下简称滑动窗口或滑窗)中的各个关键帧，可依次使用k维树(KD-Tree)算法为其建立特征点到Local Map的关联，各关键帧的位姿被用作KD-Tree进行最近邻搜索的初值。对于当前帧，使用上一个关键帧的位姿以及IMU积分得到的帧间位姿改变量确定点云配准的初值，之后根据搜索得到的最近邻特征点集，为各线特征点和面特征点建立对应的线误差函数和面误差函数。也就是说，针对线特征点和平面特征点分别采用KD-Tree算法根据初始配准位姿在局部地图中进行最近邻搜索，得到对应的最近邻特征点集，并根据对应的最近邻特征点集分别建立线误差函数和面误差函数。
对于任一线特征点xl，可根据最近邻点集进行直线拟合。计算最近邻点集的协方差矩阵C，可得对应的特征值V及特征向量E。若特征值中的最大值远大于另两个，则可认为直线拟合成功，且最大特征值对应的特征向量即为该直线的方向。若直线拟合成功，可根据线特征点到对应的拟合直线的距离确定线误差函数，特征点xl到对应直线的距离，线误差函数通过以下表达式表示：
Figure BDA0003189855280000191
其中，rp2l表示特征点xl到对应拟合直线的距离，D表示拟合直线的方向，M表示最近邻特征点集的坐标均值，
Figure BDA0003189855280000192
和
Figure BDA0003189855280000193
表示激光雷达坐标系到IMU坐标系的外参；
对于任一面特征点xp，需根据最近邻点集进行平面拟合。可选择使用奇异值分解(Singular Value Decomposition，SVD)来拟合平面，拟合平面的平面方程表示为nTx+d＝0，n表示平面的法向量，d为对应的系数。若平面拟合成功，根据平面特征点到对应的拟合平面的距离确定面误差函数，面特征点xp到平面的距离，也即面误差函数通过以下表达式表示：
Figure BDA0003189855280000194
其中，rp2p表示平面特征点xp到对应的拟合平面的距离，
Figure BDA0003189855280000195
和
Figure BDA0003189855280000196
表示激光雷达坐标系到IMU坐标系的外参。
相应的，所述点云配准约束通过以下表达式表示：
Figure BDA0003189855280000197
其中，rG(R,P)表示点云配准约束，可简称为rG，nl表示当前关键帧中所包含的线特征点的数量，np表示当前关键帧中所包含的平面特征点的数量，∑为预设配准信息矩阵。
步骤202、对图像采集装置采集的图像进行语义分割处理，得到语义对象所在区域的二维轮廓。
本发明实施例中的语义对象可包括车道线和/或路杆，为了便于说明，下面以同时包括车道线和路杆为例。可先通过基于深度学习的语义分割方法从图像中检测出对应于车道线和路杆的像素区域，之后结合激光雷达提供的深度信息计算出车道线和路杆的3D信息。为了便于帧间语义信息的数据关联和联合优化，可以用几何图形对车道线和路杆进行参数化。
对于车道线，对应的三维轮廓包括空间矩形，空间矩形的表征量包括中心点(C)、法向量(N)、长边向量(T)、长度(L)和宽度(W)中，每段虚线车道线对应一个空间矩形，每条实线车道线根据其长度和曲率对应多个空间矩形。
示例性的，通过语义分割，从图像中提取出属于车道线的像素区域，之后通过图像处理可进一步得到车道线区域的2D轮廓。
对于路杆，对应的三维轮廓包括柱体，柱体的表征量包括顶面中心点(也可称为起始点，记为S)、底面中心点(也可称为结束点，记为E)和半径(d)。
示例性的，通过语义分割，从图像中提取出属于路杆的像素区域，之后通过图像处理可进一步得到路杆的2D轮廓。
步骤203、将点云采集装置采集的点云投射到图像中，并根据二维轮廓确定语义对象对应的目标三维点。
示例性的，通过相机内参以及相机与激光雷达间的外参，可以将激光雷达测量得到的3D点投射到图像，并根据2D轮廓得到对应于车道线和路杆的激光雷达点。
步骤204、对目标三维点进行平面拟合或直线拟合，得到对应的空间方程。
对于车道线，由于对应的区域通常在一个平面上，所以对上述激光雷达点进行平面拟合即可得到对应的空间平面方程。
所述空间平面方程通过如下表达式表示：
Figure BDA0003189855280000211
其中，n＝(n1 n2 n3)表示单位法向量，d表示图像采集装置坐标系下的坐标原点到空间平面的距离。
对于路杆，通过对属于路杆的激光点进行直线拟合，可以得到路杆所对应的直线方程，并可计算出属于路杆的各激光点到该直线的距离，可将该距离的均值作为路杆半径d，并采用方向向量m＝(m1 m2 m3)和路杆上一点p＝(p1 p2 p3)来表示该直线。
步骤205、根据二维轮廓的像素坐标、图像采集装置的内参以及图像采集装置与点云采集装置之间的外参确定目标三维点的三维坐标。
对于车道线，根据几何关系，可知2D轮廓所对应的3D点坐标，也即目标三维点的三维坐标通过如下表达式表示：
Figure BDA0003189855280000212
其中，u和v表示二维轮廓的点的像素坐标，fx、fy、cx和cy表示相机内参，H＝n1fy(u-cx)+n2fx(v-cy)+n3fxfy。
对于路杆，由于路杆两个端点的像素坐标和直线方程已知，根据几何关系可以得到两个端点S和E的三维坐标，也即目标三维点的三维坐标通过如下表达式表示：
Figure BDA0003189855280000213
其中，u和v表示两端点的像素坐标，fx、fy、cx和cy表示相机内参。
步骤206、根据空间方程和目标三维点的三维坐标对目标三维点进行拟合，得到语义对象对应的三维轮廓的观测值。
对于车道线，可以使用PCA方法对车道线轮廓所对应的3D点集进行拟合，可以得到3D矩形的中心点、法向量、长边向量、长度和宽度。同理，对于路杆，可以使用PCA方法对路杆所对应的3D点集进行拟合，可以得到柱体的顶面中心点、底面中心点和半径。
步骤207、对于预设滑动窗口中的每个关键帧，建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新语义对象状态变量集合中的语义对象状态变量，并建立当前关键帧中各三维轮廓所对应的误差函数。
对于车道线，为了融合滑动窗口中所有的车道线观测以提升建图精度，可维护一个动态更新的车道线状态变量集合M。滑窗内每一帧拟合得到的车道线矩形均与M进行关联，并建立误差函数。
对于虚线空间矩形，可根据中心点坐标来建立观测与M的关联，首先根据当前帧的全局位姿对中心点进行坐标变换，得到该矩形中心点在世界坐标系下的坐标，若可以在一定阈值范围内找到相对应的状态变量，即认为成功关联，并建立一个误差函数，若无法找到对应的状态变量，则创建一个新的状态变量，并建立误差函数。
虚线车道线误差函数通过以下表达式表示：
Figure BDA0003189855280000221
其中，rd(R,P,M)表示虚线车道线误差函数，可简称rd，P表示当前关键帧在世界坐标系下的位置，R表示当前关键帧在世界坐标系下的姿态，M表示空间矩形状态变量，C表示中心点，N表示法向量，T表示长边向量，W表示长度，W表示宽度；上角标W表示世界坐标系，对应于状态变量；上角标I表示惯性导航坐标系，对应于观测值。
对于实线空间矩形，关联方式可以虚线空间矩形类似，也即，可根据中心点坐标来建立观测与M的关联，首先根据当前帧的全局位姿对中心点进行坐标变换，得到该矩形中心点在世界坐标系下的坐标，若可以在一定阈值范围内找到相对应的状态变量，即认为成功关联，并建立一个误差函数，若无法找到对应的状态变量，则创建一个新的状态变量，并建立误差函数。
由于实线是连续的，且状态变量与各帧的拟合结果无严格的对应关系，所以需建立状态变量中心点到各观测中心线的距离，且无需优化矩形的长度，实线车道线误差函数通过以下表达式表示：
Figure BDA0003189855280000231
其中，rs(R,P,M)表示实线车道线误差函数，可简称rs，P表示当前关键帧在世界坐标系下的位置，R表示当前关键帧在世界坐标系下的姿态，M表示空间矩形状态变量，C表示中心点，N表示法向量，T表示长边向量，W表示宽度；上角标W表示世界坐标系，对应于状态变量；上角标I表示惯性导航坐标系，对应于观测值。
综合一帧中所有的车道线拟合结果，可得到当前关键帧中的空间矩形对应的车道线误差函数，可通过以下表达式表示：
Figure BDA0003189855280000241
其中，rL(R,P,M)表示当前关键帧中的空间矩形对应的车道线误差函数，可简称rL，nd表示当前关键帧中的虚线车道线对应的空间矩形状态变量的数量，ns表示当前关键帧中的实线车道线对应的空间矩形状态变量的数量，∑d表示预设虚线信息矩阵，∑s表示预设实线信息矩阵。
对于路杆，为了融合滑动窗口中所有的路杆观测以提升建图精度，可维护一个动态更新的路杆状态变量集合N。滑窗内每一帧拟合得到的路杆均与N进行关联，并建立误差函数。可根据路杆的两个端点坐标来建立观测与N的关联。首先根据当前帧的全局位姿对端点坐标进行坐标变换，得到该两端点在世界坐标系下的坐标。对于状态变量集合N，若存在某个状态变量与当前路杆两端点的距离差小于阈值，则认为关联成功，并建立一个误差函数，若无法找到对应的状态变量，则创建一个新的状态变量，并建立误差函数。
路杆误差函数通过以下表达式表示：
Figure BDA0003189855280000242
其中，rp(R,P,N)表示虚线车道线误差函数，可简称rp，P表示当前关键帧在世界坐标系下的位置，R表示当前关键帧在世界坐标系下的姿态，S表示柱体顶面中心点坐标，E表示柱体底面中心点坐标，d表示柱体半径。
综合一帧中所有的路杆拟合结果，可得到当前关键帧中的柱体对应的路杆误差函数，可通过以下表达式表示：
Figure BDA0003189855280000243
其中，rP(R,P,N)表示当前关键帧中的空间矩形对应的车道线误差函数，可简称rP，np表示当前关键帧中路杆拟合结果中所包含的路杆数量，也即路杆对应的柱体状态变量的数量，Σp为预设路杆信息矩阵。
步骤208、根据预设滑动窗口中各关键帧分别对应的误差函数，建立语义约束关系。
示例性的，语义约束关系可以表示为：
Figure BDA0003189855280000251
其中，nk表示预设滑动窗口中关键帧的数量。
步骤209、根据位姿约束关系和语义约束关系构建预设滑动窗口内各关键帧对应的联合优化目标函数。
综合滑动窗口内各帧的预积分约束rB、速度约束rV、绝对位姿约束rI、点云配准约束rG、车道线约束rL以及路杆约束rP，可建立如下的联合优化目标函数：
Figure BDA0003189855280000252
其中，X＝{R,P,v,ba,bg,M}，nk表示预设滑动窗口中关键帧的数量，∑表示预设信息矩阵。
步骤210、针对联合优化目标函数进行求解，得到各状态变量的估计值，其中，将语义对象状态变量的估计值记为语义结果，将位置状态变量和姿态状态变量的估计值记为位姿结果。
示例性的，可以采用Ceres-Solver对上述联合优化目标函数进行求解，得到各状态变量的估计值。
步骤211、根据语义结果和位姿结果构建语义地图和点云地图。
示例性的，对于车道线来说，可以依据几何关系根据语义结果计算空间矩形的四个角点，对各角点进行连接处理，得到车道线的3D轮廓，综合所有车道线的3D轮廓，得到车道线的语义地图。其中，对于虚线车道线，3D轮廓与空间矩形的四个角点顺次连线相对应，对于实线车道线，3D轮廓与按照空间顺序顺次连接长度方向上的角点得到的两条边线相对应。
示例性的，对于路杆来说，可以依据几何关系根据语义结果确定顶面中心点和底面中心点，再根据半径构建路杆的3D轮廓，综合所有路杆的3D轮廓，得到路杆的语义地图。
对于点云地图，可以使用优化后的位姿将运动补偿后的点云叠起来，即可得到稠密的点云地图。
本发明实施例通过采用上述技术方案，首先，通过对组合导航设备、轮速计、相机、以及激光雷达的观测数据进行融合建模，建立了关于系统状态的全局约束和局部一致性约束，有效提升了位姿估计的精度和鲁棒性，并可实现在隧道、跨海大桥等场景下的正常建图，通过基于图片的语义分割技术，有效检测出属于车道线和路杆的像素区域，之后结合激光雷达的3D观测，计算出车道线和路杆的3D信息，并利用时序信息对不同时刻的车道线观测和路杆观测进行联合优化，提升了语义地图的精度和一致性。
为验证本发明实施例技术方案的有效性，使用装配了GNSS、IMU、轮速计、相机、激光雷达等传感器的数据采集车，采集了多种复杂路况下的道路数据进行实验验证。图4为本发明实施例提供的大桥场景的地图构建结果示意图，其中，子图A为大桥场景图，子图B为构建的点云地图，子图C为构建的语义地图示意图，子图D为优化出的位置(X，Y和Z分别表示空间坐标系下的三个坐标分量)与真实值的差值曲线图。图5为本发明实施例提供的隧道场景的地图构建结果示意图，子图A为隧道场景图，子图B为构建的点云地图，子图C为构建的语义地图示意图，子图D为优化出的位置(X，Y和Z分别表示空间坐标系下的三个坐标分量)与真实值的差值曲线图。通过采集车采集图4所示大桥场景下的相关数据以及采集图5所示隧道场景下的相关数据，采用本发明实施例提供的技术方案进行地图构建，以语义对象为车道线为例。采集车装备了高精度的商用组合导航设备，其后处理结果可以作为位姿的真实值，为了验证车道线地图的精度，通过测绘设备测量了一部分车道线虚线角点的空间位置坐标(下文简称作绝对位置点)。参见图4和图5可以看出，本发明实施例提供的技术方案在跨海大桥、隧道等复杂路况下依然可以建图，且计算得到的位置与真值的误差在10cm以内，此外，所构建的车道线地图的角点坐标与绝对位置点的差也在10cm以内，有效保证了建图的精度和准确度。
图6为本发明实施例提供的一种地图构建装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行地图构建方法来进行地图构建。如图6所示，该装置包括：
数据获取模块601，用于获取预设传感器采集的传感器数据；
约束关系建立模块602，用于根据传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系；
联合求解模块603，用于根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定语义对象的语义结果和所述可移动物体的位姿结果；
地图构建模块604，用于根据所述语义结果和所述位姿结果构建语义地图和点云地图。
本发明实施例中提供的地图构建装置，将语义地图的构建过程和点云地图的构建过程相融合，利用位姿约束关系和语义约束关系进行联合求解，使得语义结果和位姿结果能够形成相互约束关系，可以快速准确地得到语义地图和点云地图，进而得到更加精准的高精度地图，有利于提高可移动物体的自主移动性能。
可选的，预设传感器采集的传感器数据包括图像采集装置采集的图像和点云采集装置采集的点云，约束关系建立模块具体用于：根据所述图像和所述点云，确定各语义对象对应的三维轮廓的观测值；基于所述三维轮廓的观测值建立语义约束关系。
可选的，所述根据所述图像和所述点云，确定语义对象对应的三维轮廓的观测值，包括：对所述图像进行语义分割处理，得到语义对象所在区域的二维轮廓；将所述点云投射到所述图像中，并根据所述二维轮廓确定所述语义对象对应的目标三维点；对所述目标三维点进行拟合，得到所述语义对象对应的三维轮廓的观测值。
可选的，所述对所述目标三维点进行拟合，得到所述语义对象对应的三维轮廓的观测值，包括：对所述目标三维点进行平面拟合或直线拟合，得到对应的空间方程；根据所述二维轮廓的像素坐标、所述图像采集装置的内参以及所述图像采集装置与所述点云采集装置之间的外参确定所述目标三维点的三维坐标；根据所述空间方程和所述目标三维点的三维坐标对所述目标三维点进行拟合，得到语义对象对应的三维轮廓的观测值。
可选的，所述语义对象包括车道线，所述车道线对应的三维轮廓包括空间矩形，所述空间矩形的表征量包括中心点、法向量、长边向量、长度和宽度中的至少一种，所述车道线对应的目标三维点对应的拟合方式为平面拟合，从而得到对应的空间平面方程；其中，每段虚线车道线对应一个空间矩形，每条实线车道线根据其长度和曲率对应多个空间矩形。
可选的，所述语义对象包括路杆，所述路杆对应的三维轮廓包括柱体，所述柱体的表征量包括顶面中心点、底面中心点和半径中的至少一种；所述路杆对应的目标三维点对应的拟合方式为直线拟合，从而得到对应的空间直线方程。
可选的，所述基于所述三维轮廓的观测值建立语义约束关系，包括：对于预设滑动窗口中的每个关键帧，建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，并建立当前关键帧中各三维轮廓所对应的误差函数；根据所述预设滑动窗口中各关键帧分别对应的误差函数，建立语义约束关系。
可选的，对于车道线，所述建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，包括：对于当前关键帧中的每个空间矩形，在同一坐标系下计算当前空间矩形的中心点的观测值与车道线状态变量集合中的各矩形状态变量的中心点的第一距离，若存在小于第一预设距离阈值的第一距离，则将当前空间矩形与对应的矩形状态变量建立关联，若不存在，则在车道线状态变量集合中创建当前空间矩形对应的矩形状态变量。
可选的，当前关键帧中的误差函数包括空间矩形对应的车道线误差函数和/或柱体对应的路杆误差函数，所述车道线误差函数包括各虚线车道线的误差函数和各实线车道线的误差函数。
可选的，虚线车道线的误差函数包括：关于中心点、法向量、长边向量、长度和宽度的状态变量与观测值的误差函数，以及法向量和长边向量的状态变量分别与单位向量的误差函数。
可选的，实线车道线的误差函数包括：关于法向量、长边向量和宽度的状态变量与观测值的误差函数，中心点的状态变量到观测中心线的第二距离，以及法向量和长边向量的状态变量分别与单位向量的误差函数。
可选的，所述预设传感器包括GNSS、惯性测量单元IMU、轮速计、图像采集装置和点云采集装置中的一个或多个；其中，所述IMU中包括加速度计和陀螺仪，GNSS还可以和IMU组成组合导航设备；其中，所述位姿约束关系包括以下一个或多个：全局位姿约束关系、IMU预积分约束关系、速度约束关系和点云配准约束关系。
可选的，约束关系建立模块具体用于：在所述位姿约束关系包括全局位姿约束关系的情况下，根据上一时刻的位姿和上一时刻至当前时刻对应的位姿改变量，估算当前时刻的当前位姿，其中，位姿改变量通过IMU积分得到；若估算的当前位姿与位姿观测值的差距小于预设差距阈值，则根据位姿的状态变量和位姿观测值建立当前时刻对应的全局位姿约束关系；否则，丢弃当前时刻对应的全局位姿约束关系。
可选的，所述联合求解模块具体用于：根据所述位姿约束关系和所述语义约束关系构建预设滑动窗口内各关键帧对应的联合优化目标函数；针对所述联合优化目标函数进行求解，得到各状态变量的估计值；其中，将语义对象状态变量的估计值记为语义结果，将位置状态变量和姿态状态变量的估计值记为位姿结果。
可选的，所述地图构建模块具体用于：根据所述语义结果和几何关系计算语义对象的角点；对各角点进行连接处理，得到语义对象的3D轮廓；综合各语义对象的3D轮廓，得到语义对象的语义地图；根据所述位姿结果对点云进行叠加，得到点云地图；其中，对于虚线车道线，3D轮廓与空间矩形的四个角点顺次连线相对应，对于实线车道线，3D轮廓与按照空间顺序顺次连接长度方向上的角点得到的两条边线相对应。
可选的，所述点云配准约束通过以下方式得到：对于预设滑动窗口内各关键帧的点云，根据点云中的点的曲率信息将各点划分为线特征点和平面特征点；对于预设滑动窗口内的每个关键帧，将上一关键帧的位姿与IMU积分得到的帧间位姿改变量进行叠加，得到当前关键帧对应的初始配准位姿；针对线特征点和平面特征点，分别根据初始配准位姿在局部地图中进行最近邻搜索，得到对应的最近邻特征点集，所述局部地图包括所述预设滑动窗口中各关键帧的特征点；根据对应的最近邻特征点集分别建立线误差函数和面误差函数；根据所述预设滑动窗口内的各线误差函数和面误差函数确定点云配准约束。
可选的，根据线特征点对应的最近邻特征点集建立线误差函数，包括：根据线特征点对应的最近邻特征点集进行直线拟合，根据线特征点到对应的拟合直线的距离确定线误差函数。根据平面特征点对应的最近邻特征点集建立面误差函数，包括：根据平面特征点对应的最近邻特征点集进行平面拟合，根据平面特征点到对应的拟合平面的距离确定面误差函数。
本发明实施例提供了一种计算机设备，该计算机设备中可集成本发明实施例提供的地图构建装置。图7为本发明实施例提供的一种计算机设备的结构框图。计算机设备700可以包括：存储器701，处理器702及存储在存储器701上并可在处理器运行的计算机程序，所述处理器702执行所述计算机程序时实现如本发明实施例所述的地图构建方法。这里的计算机设备可以集成到可移动物体中，此时，计算机设备也可认为是可移动物体本身，如车辆；计算机设备也可外接于可移动物体或与可移动物体进行通信。
本发明实施例提供的计算机设备，将语义地图的构建过程和点云地图的构建过程相融合，利用位姿约束关系和语义约束关系进行联合求解，使得语义结果和位姿结果能够形成相互约束关系，可以快速准确地得到语义地图和点云地图，进而得到更加精准的高精度地图，有利于提高可移动物体的自主移动性能。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如本发明实施例提供的地图构建方法。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
上述实施例中提供的地图构建装置、设备及存储介质可执行本发明任意实施例所提供的地图构建方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的地图构建方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (20)

1.一种地图构建方法，其特征在于，包括：
获取预设传感器采集的传感器数据；
根据所述传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系；
根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定所述语义对象的语义结果和所述可移动物体的位姿结果；以及
根据所述语义结果和所述位姿结果构建语义地图和点云地图。
2.根据权利要求1所述的方法，其特征在于，所述传感器数据包括图像采集装置采集的图像和点云采集装置采集的点云，根据所述传感器数据建立语义对象的语义约束关系，包括：
根据所述图像和所述点云，确定各语义对象对应的三维轮廓的观测值；
基于所述三维轮廓的观测值建立语义约束关系。
3.根据权利要求2所述的方法，其特征在于，所述根据所述图像和所述点云，确定语义对象对应的三维轮廓的观测值，包括：
对所述图像进行语义分割处理，得到语义对象所在区域的二维轮廓；
将所述点云投射到所述图像中，并根据所述二维轮廓确定所述语义对象对应的目标三维点；
对所述目标三维点进行拟合，得到所述语义对象对应的三维轮廓的观测值。
4.根据权利要求3所述的方法，其特征在于，所述对所述目标三维点进行拟合，得到所述语义对象对应的三维轮廓的观测值，包括：
对所述目标三维点进行平面拟合或直线拟合，得到对应的空间方程；
根据所述二维轮廓的像素坐标、所述图像采集装置的内参以及所述图像采集装置与所述点云采集装置之间的外参确定所述目标三维点的三维坐标；
根据所述空间方程和所述目标三维点的三维坐标对所述目标三维点进行拟合，得到语义对象对应的三维轮廓的观测值。
5.根据权利要求4所述的方法，其特征在于，所述语义对象包括车道线，所述车道线对应的三维轮廓包括空间矩形，所述空间矩形的表征量包括中心点、法向量、长边向量、长度和宽度中的至少一种，所述车道线对应的目标三维点对应的拟合方式为平面拟合，从而得到对应的空间平面方程；其中，每段虚线车道线对应一个空间矩形，每条实线车道线根据其长度和曲率对应多个空间矩形。
6.根据权利要求5所述的方法，其特征在于，所述语义对象包括路杆，所述路杆对应的三维轮廓包括柱体，所述柱体的表征量包括顶面中心点、底面中心点和半径中的至少一种；所述路杆对应的目标三维点对应的拟合方式为直线拟合，从而得到对应的空间直线方程。
7.根据权利要求6所述的方法，其特征在于，所述基于所述三维轮廓的观测值建立语义约束关系，包括：
对于预设滑动窗口中的每个关键帧，建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，并建立当前关键帧中各三维轮廓所对应的误差函数；
根据所述预设滑动窗口中各关键帧分别对应的误差函数，建立语义约束关系。
8.根据权利要求7所述的方法，其特征在于，对于车道线，所述建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，包括：
对于当前关键帧中的每个空间矩形，在同一坐标系下计算当前空间矩形的中心点的观测值与车道线状态变量集合中的各矩形状态变量的中心点的第一距离，若存在小于第一预设距离阈值的第一距离，则将当前空间矩形与对应的矩形状态变量建立关联，若不存在，则在车道线状态变量集合中创建当前空间矩形对应的矩形状态变量。
9.根据权利要求7所述的方法，其特征在于，当前关键帧中的误差函数包括空间矩形对应的车道线误差函数和/或柱体对应的路杆误差函数，所述车道线误差函数包括各虚线车道线的误差函数和各实线车道线的误差函数。
10.根据权利要求7所述的方法，其特征在于，虚线车道线的误差函数包括：
关于中心点、法向量、长边向量、长度和宽度的状态变量与观测值的误差函数，以及法向量和长边向量的状态变量分别与单位向量的误差函数。
11.根据权利要求7所述的方法，其特征在于，实线车道线的误差函数包括：
关于法向量、长边向量和宽度的状态变量与观测值的误差函数，中心点的状态变量到观测中心线的第二距离，以及法向量和长边向量的状态变量分别与单位向量的误差函数。
12.根据权利要求1-11任一所述的方法，其特征在于，所述预设传感器包括全球导航卫星系统GNSS、惯性测量单元IMU、轮速计、图像采集装置和点云采集装置中的一个或多个；其中，所述IMU包括加速度计和陀螺仪；
其中，所述位姿约束关系包括以下一个或多个：
全局位姿约束关系、IMU预积分约束关系、速度约束关系和点云配准约束关系。
13.根据权利要求12所述的方法，其特征在于，在所述位姿约束关系包括全局位姿约束关系的情况下，根据所述传感器数据建立可移动物体的全局位姿约束关系包括：
根据上一时刻的位姿和上一时刻至当前时刻对应的位姿改变量，估算当前时刻的当前位姿，其中，位姿改变量通过IMU积分得到；
若估算的当前位姿与位姿观测值的差距小于预设差距阈值，则根据位姿的状态变量和位姿观测值建立当前时刻对应的全局位姿约束关系；否则，丢弃当前时刻对应的全局位姿约束关系。
14.根据权利要求12所述的方法，其特征在于，所述根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定所述语义对象的语义结果和所述可移动物体的位姿结果，包括：
根据所述位姿约束关系和所述语义约束关系构建预设滑动窗口内各关键帧对应的联合优化目标函数；
针对所述联合优化目标函数进行求解，得到各状态变量的估计值；其中，将语义对象状态变量的估计值记为语义结果，将位置状态变量和姿态状态变量的估计值记为位姿结果。
15.根据权利要求14所述的方法，其特征在于，根据所述语义结果和所述位姿结果构建语义地图和点云地图，包括：
根据所述语义结果和几何关系计算语义对象的角点；
对各角点进行连接处理，得到语义对象的3D轮廓；
综合各语义对象的3D轮廓，得到语义对象的语义地图；
根据所述位姿结果对点云进行叠加，得到点云地图；
其中，对于虚线车道线，3D轮廓与空间矩形的四个角点顺次连线相对应，对于实线车道线，3D轮廓与按照空间顺序顺次连接长度方向上的角点得到的两条边线相对应。
16.根据权利要求14所述的方法，其特征在于，所述点云配准约束通过以下方式得到：
对于预设滑动窗口内各关键帧的点云，根据点云中的点的曲率信息将各点划分为线特征点和平面特征点；
对于预设滑动窗口内的每个关键帧，将上一关键帧的位姿与IMU积分得到的帧间位姿改变量进行叠加，得到当前关键帧对应的初始配准位姿；
针对线特征点和平面特征点，分别根据初始配准位姿在局部地图中进行最近邻搜索，得到对应的最近邻特征点集，所述局部地图包括所述预设滑动窗口中各关键帧的特征点；
根据对应的最近邻特征点集分别建立线误差函数和面误差函数；
根据所述预设滑动窗口内的各线误差函数和面误差函数确定点云配准约束。
17.根据权利要求16所述的方法，其特征在于，
根据线特征点对应的最近邻特征点集建立线误差函数，包括：
根据线特征点对应的最近邻特征点集进行直线拟合，根据线特征点到对应的拟合直线的距离确定线误差函数；
根据平面特征点对应的最近邻特征点集建立面误差函数，包括：
根据平面特征点对应的最近邻特征点集进行平面拟合，根据平面特征点到对应的拟合平面的距离确定面误差函数。
18.一种地图构建装置，其特征在于，包括：
数据获取模块，用于获取预设传感器采集的传感器数据；
约束关系建立模块，用于根据所述传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系；
联合求解模块，用于根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定所述语义对象的语义结果和所述可移动物体的位姿结果；
地图构建模块，用于根据所述语义结果和所述位姿结果构建语义地图和点云地图。
19.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-17任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-17任一项所述的方法。
CN202110873182.3A 2021-07-30 2021-07-30 地图构建方法、装置、设备及存储介质 Pending CN115690338A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110873182.3A CN115690338A (zh) 2021-07-30 2021-07-30 地图构建方法、装置、设备及存储介质
EP22186622.1A EP4124829B1 (en) 2021-07-30 2022-07-25 Map construction method, apparatus, device and storage medium
AU2022209224A AU2022209224A1 (en) 2021-07-30 2022-07-26 Map construction method, apparatus and storage medium
US17/816,274 US20230083965A1 (en) 2021-07-30 2022-07-29 Map construction method, apparatus and storage medium
JP2022122263A JP2023021098A (ja) 2021-07-30 2022-07-29 マップ構築方法、装置及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110873182.3A CN115690338A (zh) 2021-07-30 2021-07-30 地图构建方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115690338A true CN115690338A (zh) 2023-02-03

Family

ID=82703072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110873182.3A Pending CN115690338A (zh) 2021-07-30 2021-07-30 地图构建方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US20230083965A1 (zh)
EP (1) EP4124829B1 (zh)
JP (1) JP2023021098A (zh)
CN (1) CN115690338A (zh)
AU (1) AU2022209224A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309943A (zh) * 2023-05-24 2023-06-23 联友智连科技有限公司 一种停车场语义地图路网构建方法、装置及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116105603B (zh) * 2023-04-13 2023-09-19 安徽蔚来智驾科技有限公司 用于确定移动物体在场所中的位置的方法及系统
CN116690769B (zh) * 2023-04-24 2023-11-21 中交第二航务工程局有限公司 一种部分无匹配梁的节段梁短线预制方法
CN116242339B (zh) * 2023-05-11 2023-10-03 天津市安定医院 一种基于5g的医院门诊导航系统
CN116704125B (zh) 2023-06-02 2024-05-17 深圳市宗匠科技有限公司 一种基于三维点云的映射方法、装置、芯片及模组设备
CN117739968A (zh) * 2023-12-22 2024-03-22 武汉大学 适用于复杂林下环境的鲁棒实时定位与建图方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258618B (zh) * 2020-11-04 2021-05-14 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309943A (zh) * 2023-05-24 2023-06-23 联友智连科技有限公司 一种停车场语义地图路网构建方法、装置及电子设备
CN116309943B (zh) * 2023-05-24 2023-08-08 联友智连科技有限公司 一种停车场语义地图路网构建方法、装置及电子设备

Also Published As

Publication number Publication date
US20230083965A1 (en) 2023-03-16
EP4124829A1 (en) 2023-02-01
AU2022209224A1 (en) 2023-02-16
JP2023021098A (ja) 2023-02-09
EP4124829B1 (en) 2024-04-17

Similar Documents

Publication Publication Date Title
CN115690338A (zh) 地图构建方法、装置、设备及存储介质
CN111862672B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN110859044B (zh) 自然场景中的集成传感器校准
CN112640417B (zh) 匹配关系确定方法及相关装置
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
CN114526745B (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及系统
CN112380312B (zh) 基于栅格检测的激光地图更新方法、终端及计算机设备
Sujiwo et al. Monocular vision-based localization using ORB-SLAM with LIDAR-aided mapping in real-world robot challenge
JP2018081008A (ja) 基準映像地図を用いた自己位置姿勢標定装置
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
CN113819905A (zh) 一种基于多传感器融合的里程计方法及装置
CN113920198B (zh) 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法
Kellner et al. Road curb detection based on different elevation mapping techniques
CN113252051A (zh) 一种地图构建方法及装置
CN115494533A (zh) 车辆定位方法、装置、存储介质及定位系统
CN115409910A (zh) 一种语义地图构建方法、视觉定位方法及相关设备
CN113227713A (zh) 生成用于定位的环境模型的方法和系统
US11461944B2 (en) Region clipping method and recording medium storing region clipping program
CN115496873A (zh) 一种基于单目视觉的大场景车道建图方法及电子设备
CN114565669A (zh) 一种场端多相机融合定位方法
CN112184906A (zh) 一种三维模型的构建方法及装置
Będkowski Large-Scale Simultaneous Localization and Mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination