CN116299545A - 一种实时点云建图系统及方法 - Google Patents

一种实时点云建图系统及方法 Download PDF

Info

Publication number
CN116299545A
CN116299545A CN202310276298.8A CN202310276298A CN116299545A CN 116299545 A CN116299545 A CN 116299545A CN 202310276298 A CN202310276298 A CN 202310276298A CN 116299545 A CN116299545 A CN 116299545A
Authority
CN
China
Prior art keywords
poi information
ground
point cloud
mot
air
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310276298.8A
Other languages
English (en)
Inventor
施忠继
张岚翔
王璇
梅轩
张衡
左勇
孙喜亮
徐光彩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Lvtu Tujing Technology Co ltd
Beijing Digital Green Earth Technology Co ltd
Original Assignee
Wuhan Lvtu Tujing Technology Co ltd
Beijing Digital Green Earth Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Lvtu Tujing Technology Co ltd, Beijing Digital Green Earth Technology Co ltd filed Critical Wuhan Lvtu Tujing Technology Co ltd
Priority to CN202310276298.8A priority Critical patent/CN116299545A/zh
Publication of CN116299545A publication Critical patent/CN116299545A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种实时点云建图系统及方法，通过获取车体周围的激光点云数据及车体的绝对位姿，将所述激光点云数据与所述车体的绝对位姿进行解算后进行拼接，获取拼接后的数据；并将拼接后的数据通过点云感知输出地面POI信息与空中POI信息；然后通过多目标追踪的方法追踪地面POI信息中的目标地面POI信息或空中POI信息中的目标空中POI信息，并将目标地面POI信息或空中POI信息进行融合，获取点云地图要素；最终将点云地图要素进行融合，获取高精度地图。

Description

一种实时点云建图系统及方法
技术领域
本发明涉及高精度地图建图处理领域，尤其涉及一种实时点云建图系统及方法。
背景技术
随着自动驾驶的发展和应用，高精度地图作为自动驾驶的基础发挥着重要作用；高精度地图可以给自动驾驶车辆提供超视距的信息，用于辅助车辆的感知，高精度定位和路径规划；
目前主流的高精度地图制作方式是基于视觉的众包采集方式，众包采集是利用车端安装相机和惯导设备，在本车上做一些基本的道路要素提取，实时监控环境变化，最后将数据上传到云端进行处理；众包方式成本低，实时性好，数据来源丰富；但是通过视觉获取的地图要素会有同行车辆或其他物体的各种干扰导致地图要素精度较低；且传感器数据来源不一，导致数据融合存在较大困难。
发明内容
本发明的目的在于提供一种实时点云建图系统及方法，解决了现有技术中指出的上述技术问题。
本发明提供了一种实时点云建图系统，包括激光点云模块、融合定位模块、解算拼接模块、数据处理模块、建图模块；
其中，所示激光点云模块，用于获取当前车体周围的激光点云数据；
所述融合定位模块，用于获取当前车体的绝对位姿；
所述解算拼接模块，用于对所述激光点云模块获取的所述当前车体周围的激光点云数据与所述融合定位模块获取的所述当前车体的绝对位姿进行解算，获取每时刻的激光点云数据与每时刻的当前车体的绝对位姿；并将所述每时刻的激光点云数据与每时刻的当前车体的绝对位姿进行拼接，获取拼接后的数据；
所述数据处理模块，用于将所述解算拼接模块获取的所述拼接后的数据通过点云感知输出地面POI信息与空中POI信息；
所所述建图模块，用于对所述数据处理模块输出的所述地面POI信息进行追踪，获取所述地面POI信息中的目标地面POI信息；对所述数据处理模块输出的所述空中POI信息进行追踪，获取所述空中POI信息中的目标空中POI信息；并将所述目标地面POI信息或目标空中POI信息进行融合获取点云地图要素；
所述建图模块，还用于将所述点云地图要素进行融合，获取高精度地图。
较佳的，在具体技术方案中，上述建图模块，具体用于建立MOT追踪列表；获取所述地面POI信息或所述空中POI信息，判断所述MOT追踪列表是否为空；若所述MOT追踪列表为空，则将所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；若所述MOT追踪列表为不为空，则进一步判断所述MOT追踪列表中是否有与当前所述地面POI信息相同的地面POI信息或判断所述MOT追踪列表中是否有与当前所述空中POI信息相同的空中POI信息；若所述MOT追踪列表不存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；若所述MOT追踪列表存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息添加入所述MOT追踪列表中对应的地面POI信息或将当前所述空中POI信息添加入所述MOT追踪列表中对应的空中POI信息列表中；
较佳的，在具体技术方案中，上述建图模块，还用于建立追踪失败计时器；利用所述追踪失败计时器持续记录追踪失败的当前所述地面POI信息或当前所述空中POI信息的追踪失败时间t；并预设追踪失败时间最大阈值T；若所述当前所述地面POI信息或所述空中POI信息的追踪失败时间t大于或等于所述追踪失败时间最大阈值T，则确定所述MOT追踪列表中的当前所述地面POI信息为目标地面POI信息或所述MOT追踪列表中的当前所述空中POI信息为目标空中POI信息；
将所述目标目标地面POI信息与所述MOT追踪列表中对应的地面POI信息进行融合获取地面点云地图要素；将所述目标空中POI信息与所述所述MOT追踪列表中对应的空中POI信息进行融合获取空中点云地图要素；将所述地面点云地图要素与所述空中点云地图要素确定为点云地图要素。
相应地，本发明还提出了一种实时点云建图方法，包括如下操作步骤：
实时获取当前车体周围的激光点云数据及当前车体的绝对位姿；
将所述当前车体周围的激光点云数据及所述当前车体的绝对位姿进行解算后，获取每时刻的激光点云数据与每时刻的当前车体的绝对位姿；将所述每时刻的激光点云数据与每时刻的当前车体的绝对位姿进行拼接，获取拼接后的数据；
将所述拼接后的数据通过点云感知输出地面POI信息与空中POI信息；
对所述地面POI信息进行追踪，获取所述地面POI信息中的目标地面POI信息；对所述空中POI信息进行追踪，获取所述空中POI信息中的目标空中POI信息；并将所述目标地面POI信息或目标空中POI信息进行融合获取点云地图要素；
将所述点云地图要素进行融合，获取高精度地图。
优选的，作为一种可实施方式；所述地面POI信息包括车道线、指示箭头、斑马线、同行车辆中的任意一种或多种。
优选的，作为一种可实施方式；所述空中POI信息包括杆件、交通标牌、红绿灯、飞鸟、落叶中的任意一种或多种。
优选的，作为一种可实施方式；所述目标地面POI信息包括车道线、指示箭头、斑马线中的任意一种或多种。
优选的，作为一种可实施方式；所述目标空中POI信息包括杆件、交通标牌、红绿灯中的任意一种或多种。
较佳的，在具体技术方案中，所述对所述地面POI信息进行追踪，获取所述地面POI信息中的目标地面POI信息；对所述空中POI信息进行追踪，获取所述空中POI信息中的目标空中POI信息；并将所述目标地面POI信息或所述目标空中POI信息进行融合获取点云地图要素，包括如下操作步骤：
建立MOT追踪列表；获取所述地面POI信息或所述空中POI信息，判断所述MOT追踪列表是否为空；
若所述MOT追踪列表为空，则将所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；若所述MOT追踪列表为不为空，则进一步判断所述MOT追踪列表中是否有与当前所述地面POI信息相同的地面POI信息或判断所述MOT追踪列表中是否有与当前所述空中POI信息相同的空中POI信息；
若所述MOT追踪列表不存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；
若所述MOT追踪列表存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息添加入所述MOT追踪列表中对应的地面POI信息或将当前所述空中POI信息添加入所述MOT追踪列表中对应的空中POI信息列表中；
建立追踪失败计时器；利用所述追踪失败计时器持续记录追踪失败的当前所述地面POI信息或当前所述空中POI信息的追踪失败时间t；
预设追踪失败时间最大阈值T；若所述当前所述地面POI信息或所述空中POI信息的追踪失败时间t大于或等于所述追踪失败时间最大阈值T，则确定所述MOT追踪列表中的当前所述地面POI信息为目标地面POI信息或所述MOT追踪列表中的当前所述空中POI信息为目标空中POI信息；
将所述目标目标地面POI信息与所述MOT追踪列表中对应的地面POI信息进行融合获取地面点云地图要素；将所述目标空中POI信息与所述所述MOT追踪列表中对应的空中POI信息进行融合获取空中点云地图要素；将所述地面点云地图要素与所述空中点云地图要素确定为点云地图要素。
与现有技术相比，本发明实施例至少存在如下方面的技术优势：
分析本发明提供的上述一种实时点云建图系统及方法可知，通过激光雷达与融合定位模块获取当前车体周围的激光点云数据及当前车体的绝对位姿，综合考虑了激光雷达、SLAM、卫导和惯导的特点，使用融合定位技术，有效地提高了定位的鲁棒性；
将当前车体周围的激光点云数据及当前车体的绝对位姿进行解算后，获取每时刻的激光点云数据与每时刻的当前车体的绝对位姿；将所述每时刻的激光点云数据与每时刻的当前车体的绝对位姿进行拼接，获取拼接后的数据；通过解算与拼接将激光点云数据与车体的绝对位姿进行对应，提高获取信息的精度；
将拼接后的数据通过点云感知输出地面POI信息与空中POI信息；采用深度学习方法直接提取带绝对位置坐标的地面和空中目标；
对所述地面POI信息进行追踪，获取所述地面POI信息中的目标地面POI信息；对所述空中POI信息进行追踪，获取所述空中POI信息中的目标空中POI信息；并将所述目标地面POI信息或目标空中POI信息进行融合获取点云地图要素；通过追踪筛除地面POI信息或空中POI信息中的干扰物体的POI信息，更进一步地提高地图的精度；最终将所述点云地图要素进行融合，获取高精度地图；采用多目标跟踪融合的方法，对地面/空中地图要素进行建图，获取到的地图中地图要素类别更加丰富、位置更加准确。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种实时点云建图系统整体架构示意图；
图2为本发明实施例二提供的一种实时点云建图方法的操作步骤流程示意图；
图3为本发明实施例二提供的一种实时点云建图方法的总体流程示意图；
图4为本发明实施例二提供的一种实时点云建图方法中融合定位的操作流程示意图；
图5为本发明实施例二提供的一种实时点云建图方法中点云感知的操作流程示意图；
图6为本发明实施例二提供的一种实时点云建图方法中获取点云地图要素的操作步骤流程示意图；
图7为本发明实施例二提供的一种实时点云建图方法中获取点云地图要素的操作流程示意图。
标号：激光点云模块10；融合定位模块20；解算拼接模块30；数据处理模块40；建图模块50。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面通过具体的实施例并结合附图对本发明做进一步的详细描述。
实施例一
如图1所示，本发明实施例提出了一种实时点云建图系统，包括激光点云模块10、融合定位模块20、解算拼接模块30、数据处理模块40、建图模块50；
其中，所示激光点云模块10，用于获取当前车体周围的激光点云数据；
所述融合定位模块20，用于获取当前车体的绝对位姿；
所述解算拼接模块30，用于对所述激光点云模块10获取的所述当前车体周围的激光点云数据与所述融合定位模块20获取的所述当前车体的绝对位姿进行解算，获取每时刻的激光点云数据与每时刻的当前车体的绝对位姿；并将所述每时刻的激光点云数据与每时刻的当前车体的绝对位姿进行拼接，获取拼接后的数据；
所述数据处理模块40，用于将所述解算拼接模块30获取的所述拼接后的数据通过点云感知输出地面POI信息与空中POI信息；
所述建图模块50，用于对所述数据处理模块40输出的所述地面POI信息进行追踪，获取所述地面POI信息中的目标地面POI信息；对所述数据处理模块40输出的所述空中POI信息进行追踪，获取所述空中POI信息中的目标空中POI信息；并将所述目标地面POI信息或目标空中POI信息进行融合获取点云地图要素；
所述建图模块50，还用于将所述点云地图要素进行融合，获取高精度地图。
在具体技术方案中，所述建图模块，用于建立MOT追踪列表；获取所述地面POI信息或所述空中POI信息，判断所述MOT追踪列表是否为空；若所述MOT追踪列表为空，则将所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；若所述MOT追踪列表为不为空，则进一步判断所述MOT追踪列表中是否有与当前所述地面POI信息相同的地面POI信息或判断所述MOT追踪列表中是否有与当前所述空中POI信息相同的空中POI信息；若所述MOT追踪列表不存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；若所述MOT追踪列表存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息添加入所述MOT追踪列表中对应的地面POI信息或将当前所述空中POI信息添加入所述MOT追踪列表中对应的空中POI信息列表中；
所述建图模块，还用于建立追踪失败计时器；利用所述追踪失败计时器持续记录追踪失败的当前所述地面POI信息或当前所述空中POI信息的追踪失败时间t；并预设追踪失败时间最大阈值T；若所述当前所述地面POI信息或所述空中POI信息的追踪失败时间t大于或等于所述追踪失败时间最大阈值T，则确定所述MOT追踪列表中的当前所述地面POI信息为目标地面POI信息或所述MOT追踪列表中的当前所述空中POI信息为目标空中POI信息；
将所述目标目标地面POI信息与所述MOT追踪列表中对应的地面POI信息进行融合获取地面点云地图要素；将所述目标空中POI信息与所述所述MOT追踪列表中对应的空中POI信息进行融合获取空中点云地图要素；将所述地面点云地图要素与所述空中点云地图要素确定为点云地图要素。
综上，本发明提供的上述一种实时点云建图系统，首先通过激光点云模块获取当前车体周围的激光点云数据；并通过融合定位模块获取当前车体的绝对位姿；通过解算拼接模块，对当前车体周围的激光点云数据与当前车体的绝对位姿进行解算，获取每时刻的激光点云数据与每时刻的当前车体的绝对位姿；并将每时刻的激光点云数据与每时刻的当前车体的绝对位姿进行拼接，获取拼接后的数据；
通过数据处理模块，将拼接后的数据通过点云感知输出地面POI信息与空中POI信息；
然后通过建图模块建立MOT追踪列表；获取地面POI信息或空中POI信息，判断MOT追踪列表是否为空；若MOT追踪列表为空，则将地面POI信息或空中POI信息添加入MOT追踪列表；若MOT追踪列表为不为空，则进一步判断MOT追踪列表中是否有与当前地面POI信息相同的地面POI信息或判断MOT追踪列表中是否有与当前空中POI信息相同的空中POI信息；若MOT追踪列表不存在与当前地面POI信息相同的地面POI信息或与当前空中POI信息相同的空中POI信息，则将当前地面POI信息或空中POI信息添加入MOT追踪列表；若MOT追踪列表存在与当前地面POI信息相同的地面POI信息或与当前空中POI信息相同的空中POI信息，则将当前地面POI信息添加入MOT追踪列表中对应的地面POI信息或将当前空中POI信息添加入MOT追踪列表中对应的空中POI信息列表中；
然后建立追踪失败计时器；利用所述追踪失败计时器持续记录追踪失败的当前地面POI信息或当前中POI信息的追踪失败时间t；并预设追踪失败时间最大阈值T；若当前所述地面POI信息或空中POI信息的追踪失败时间t大于或等于追踪失败时间最大阈值T，则确定MOT追踪列表中的当前地面POI信息为目标地面POI信息或MOT追踪列表中的当前空中POI信息为目标空中POI信息；
将目标目标地面POI信息与MOT追踪列表中对应的地面POI信息进行融合获取地面点云地图要素；将目标空中POI信息与所述MOT追踪列表中对应的空中POI信息进行融合获取空中点云地图要素；将地面点云地图要素与空中点云地图要素确定为点云地图要素；
最终将点云地图要素进行融合，获取高精度地图。
实施例二
如图2、图3、图4、图5所示，图2为本发明实施例二提供的一种实时点云建图方法的操作步骤流程示意图；图3为本发明实施例二提供的一种实时点云建图方法的总体流程示意图；图4为本发明实施例二提供的一种实时点云建图方法中融合定位的操作流程示意图；
图5为本发明实施例二提供的一种实时点云建图方法中点云感知的操作流程示意图；本发明实施例二还提出了一种实时点云建图方法，包括如下操作步骤：
步骤S10：实时获取当前车体周围的激光点云数据及当前车体的绝对位姿；
需要说明的是，上述当前车体周围的激光点云数据是通过车辆搭载的LiDAR(“LiDAR”即为激光雷达)进行扫描车体周围的场景，获取车体周围的激光点云数据；
上述车体的绝对位姿是通过融合定位计算当前车体的初始的位置参数(“初始的位置参数”通过GPS定位模块获取的)、初始的速度参数(“初始的速度参数”通过IMU惯导模块获取的)和初始的姿态参数(“初始的姿态参数”通过wheel模块获取的)；
上述融合定位是由GPS、IMU和wheel结合的卫惯组合导航、LiDAR和IMU结合的激光惯导SLAM两个模块的输出共同确定车辆的绝对位姿；激光惯导SLAM输出激光里程计，卫惯组合导航输出卫惯绝对位姿；激光里程计和卫惯绝对位姿共同确定车体的绝对位姿；
上述激光里程计与上述卫惯绝对位姿进行配准，通过配准后得到的转化矩阵也是当前帧相对上一帧的位姿；也就是说，通过上述融合定位计算出当前车体的每一帧的绝对位姿。
步骤S20：将所述当前车体周围的激光点云数据及所述当前车体的绝对位姿进行解算后，获取每时刻的激光点云数据与每时刻的当前车体的绝对位姿；将所述每时刻的激光点云数据与每时刻的当前车体的绝对位姿进行拼接，获取拼接后的数据；
需要说明的是，上述解算与拼接的操作是指将上述实时获取的激光点云数据与实时获取的绝对位姿进行精配准，获取拼接后的数据，即每时刻的点云数据会拼接到对应的车体的绝对位姿；
步骤S30：将所述拼接后的数据通过点云感知输出地面POI信息与空中POI信息；
需要说明的是，上述步骤的操作为点云感知操作，点云感知的过程分为地面要素检测和空中要素检测，根据不同场景的目标使用不同的网络结构进行要素检测；上述点云感知操作是将拼接后的数据输入到基于深度学习网络中进行的点云感知处理(即分类器进行分类处理)，处理后输出地面POI和空中POI信息，关于深度学习网络的分类处理对此不再赘述。
地面要素检测，是将点云投影成图像，然后采用图像分割的方案，获取车道线，指示箭头，斑马线等地图要素信息；分割模型用轻量级的mobilenet网络，相比其他神经网络，模型的参数较少，计算速度较快，能够满足实时建图的需求；
空中要素检测，是直接根据三维点云进行检测，即采用sparseconv加体素化，直接生成带3D坐标的POI信息，包括杆件，交通标牌，红绿灯等要素；点云分割网络结构采用unet；unet网络在深度学习语义分割方面的效果很好，同时具有良好的精度，实现起来也相对简单，能够满足实时建图的需求；
上述POI信息(包括地面POI信息与空中POI信息)指的是地图上任何非地理意义的有意义的点，如商店，酒吧，加油站，医院，车站、树木、树枝等等。
步骤S40：对所述地面POI信息进行追踪，获取所述地面POI信息中的目标地面POI信息；对所述空中POI信息进行追踪，获取所述空中POI信息中的目标空中POI信息；并将所述目标地面POI信息或目标空中POI信息进行融合获取点云地图要素；
需要说明的是，在车体实时获取地面POI信息与空中POI信息时，会将同行的车辆或车体周围运动的物体(车体周围运动的物体包括飞鸟等运动的，不属于地图上的信息点的物体)共同识别到地面POI信息或空中POI信息中，因此，需对这些同行的车辆或车体周围运动的物体进行筛除；
上述地图要素指的是通过对地面POI信息或空中POI信息进行追踪筛选后得到的目标地面POI信息或目标空中POI信息；在车体实时行进过程中，激光点云模块会实时识别到车辆周围的点云数据，在这些数据中，有地图要素点，如商店、酒吧等需要在地图中显示的点的信息；也有不必要的点，如飞鸟、同行的车辆的点的信息；因此，需要在当前车体识别到的地面POI信息或空中POI信息中筛除这些不必要的点，留下其中必要的点信息(即目标地面POI信息或目标空中POI信息)作为地图要素融合构建高精度地图。
步骤S50：将所述点云地图要素进行融合，获取高精度地图。
解释说明：上述“将点云地图要素进行融合”是指将上述各个点云地图要素根据各个点云地图要素所处在的位置(“位置”是通过GPS定位模块获取的)进行融合，共同构成高精度地图。
本发明实施例所采用的技术方案综合考虑了激光雷达、SLAM、卫导和惯导的特点，使用融合定位技术，实时获取车体周围点云数据与车体的绝对位姿，并将点云数据与绝对位姿进行融合，并筛除车辆行进过程中的障碍物POI信息，最大化的利用了传感器采集到的数据。在车端直接对轨迹和点云数据进行处理，得到矢量化的地图数据。最后将地图数据上传到云端再统一进行处理，实现高精度地图的快速更新；
目前，很多具备自动驾驶L2级别及以上的车辆如小鹏P7、蔚来es8、理想ONE等都在车体配备了激光雷达、IMU等设备，使得本发明实施例提出的方法能够快速应用于市场。
优选的，作为一种可实施方式；所述地面POI信息包括车道线、指示箭头、斑马线、同行车辆中的任意一种或多种。
优选的，作为一种可实施方式；所述空中POI信息包括杆件、交通标牌、红绿灯、飞鸟、落叶中的任意一种或多种。
优选的，作为一种可实施方式；所述目标地面POI信息包括车道线、指示箭头、斑马线中的任意一种或多种。
优选的，作为一种可实施方式；所述目标空中POI信息包括杆件、交通标牌、红绿灯中的任意一种或多种。
具体地，如图6或图7所示，图6为本发明实施例二提供的一种实时点云建图方法中获取点云地图要素的操作步骤流程示意图；图7为本发明实施例二提供的一种实时点云建图方法中获取点云地图要素的操作流程示意图；在步骤S40中，对所述地面POI信息进行追踪，获取所述地面POI信息中的目标地面POI信息；对所述空中POI信息进行追踪，获取所述空中POI信息中的目标空中POI信息；并将所述目标地面POI信息或所述目标空中POI信息进行融合获取点云地图要素，包括如下操作步骤：
步骤S41：建立MOT追踪列表；获取所述地面POI信息或所述空中POI信息，判断所述MOT追踪列表是否为空；
需要说明的是，本发明实施例使用多目标追踪器：multi-objtect-tracker(MOT)进行追踪地面POI信息或所述空中POI信息；具体是通过在每一帧进行目标检测，再利用目标检测的结果来进行目标跟踪；上述multi-objtect-tracker(MOT)为现有技术，本发明实施例不再赘述；
步骤S42：若所述MOT追踪列表为空，则将所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；若所述MOT追踪列表为不为空，则进一步判断所述MOT追踪列表中是否有与当前所述地面POI信息相同的地面POI信息或判断所述MOT追踪列表中是否有与当前所述空中POI信息相同的空中POI信息；
步骤S43：若所述MOT追踪列表不存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；
步骤S44：若所述MOT追踪列表存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息添加入所述MOT追踪列表中对应的地面POI信息或将当前所述空中POI信息添加入所述MOT追踪列表中对应的空中POI信息列表中；
步骤S45：建立追踪失败计时器；利用所述追踪失败计时器持续记录追踪失败的当前所述地面POI信息或当前所述空中POI信息的追踪失败时间t；
需要说明的是，对当前地面POI信息或空中POI信息进行追踪时，若对当前地面POI信息或空中POI信息的追踪失败，则在追踪失败的同一时刻，将追踪失败计时器清零，并使用追踪失败计时器从追踪失败起始时刻开始计时；
步骤S46：预设追踪失败时间最大阈值T；若所述当前所述地面POI信息或所述空中POI信息的追踪失败时间t大于或等于所述追踪失败时间最大阈值T，则确定所述MOT追踪列表中的当前所述地面POI信息为目标地面POI信息或所述MOT追踪列表中的当前所述空中POI信息为目标空中POI信息；
步骤S47：将所述目标目标地面POI信息与所述MOT追踪列表中对应的地面POI信息进行融合获取地面点云地图要素；将所述目标空中POI信息与所述所述MOT追踪列表中对应的空中POI信息进行融合获取空中点云地图要素；将所述地面点云地图要素与所述空中点云地图要素确定为点云地图要素。
综上所述，本发明实例提出的一种实时点云建图系统及方法，通过实时获取当前车体周围的激光点云数据及当前车体的绝对位姿；综合考虑了激光雷达、SLAM、卫导和惯导的特点，使用融合定位技术，有效地提高了定位的鲁棒性；
对当前车体周围的激光点云数据与当前车体的绝对位姿进行解算，获取每时刻的激光点云数据与每时刻的当前车体的绝对位姿；并将每时刻的激光点云数据与每时刻的当前车体的绝对位姿进行拼接，获取拼接后的数据；通过解算与拼接将激光点云数据与车体的绝对位姿进行对应，提高获取地图信息的精度；
然后将拼接后的数据通过点云感知输出地面POI信息与空中POI信息；采用深度学习方法直接提取带绝对位置坐标的地面和空中目标；
然后通过建图模块建立MOT追踪列表；获取地面POI信息或空中POI信息，判断MOT追踪列表是否为空；若MOT追踪列表为空，则将地面POI信息或空中POI信息添加入MOT追踪列表；若MOT追踪列表为不为空，则进一步判断MOT追踪列表中是否有与当前地面POI信息相同的地面POI信息或判断MOT追踪列表中是否有与当前空中POI信息相同的空中POI信息；若MOT追踪列表不存在与当前地面POI信息相同的地面POI信息或与当前空中POI信息相同的空中POI信息，则将当前地面POI信息或空中POI信息添加入MOT追踪列表；若MOT追踪列表存在与当前地面POI信息相同的地面POI信息或与当前空中POI信息相同的空中POI信息，则将当前地面POI信息添加入MOT追踪列表中对应的地面POI信息或将当前空中POI信息添加入MOT追踪列表中对应的空中POI信息列表中；
建立追踪失败计时器；利用所述追踪失败计时器持续记录追踪失败的当前地面POI信息或当前中POI信息的追踪失败时间t；并预设追踪失败时间最大阈值T；若当前所述地面POI信息或空中POI信息的追踪失败时间t大于或等于追踪失败时间最大阈值T，则确定MOT追踪列表中的当前地面POI信息为目标地面POI信息或MOT追踪列表中的当前空中POI信息为目标空中POI信息；
将目标目标地面POI信息与MOT追踪列表中对应的地面POI信息进行融合获取地面点云地图要素；将目标空中POI信息与所述MOT追踪列表中对应的空中POI信息进行融合获取空中点云地图要素；将地面点云地图要素与空中点云地图要素确定为点云地图要素；
最终将点云地图要素进行融合，获取高精度地图；采用多目标跟踪融合的方法，对地面/空中地图要素进行建图，获取到的地图中地图要素类别更加丰富、位置更加准确。。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；本领域的普通技术人员可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种实时点云建图系统，其特征在于，包括激光点云模块、融合定位模块、解算拼接模块、数据处理模块、建图模块；
其中，所示激光点云模块，用于获取当前车体周围的激光点云数据；
所述融合定位模块，用于获取当前车体的绝对位姿；
所述解算拼接模块，用于对所述激光点云模块获取的所述当前车体周围的激光点云数据与所述融合定位模块获取的所述当前车体的绝对位姿进行解算，获取每时刻的激光点云数据与每时刻的当前车体的绝对位姿；并将所述每时刻的激光点云数据与每时刻的当前车体的绝对位姿进行拼接，获取拼接后的数据；
所述数据处理模块，用于将所述解算拼接模块获取的所述拼接后的数据通过点云感知输出地面POI信息与空中POI信息；
所所述建图模块，用于对所述数据处理模块输出的所述地面POI信息进行追踪，获取所述地面POI信息中的目标地面POI信息；对所述数据处理模块输出的所述空中POI信息进行追踪，获取所述空中POI信息中的目标空中POI信息；并将所述目标地面POI信息或目标空中POI信息进行融合获取点云地图要素；
所述建图模块，还用于将所述点云地图要素进行融合，获取高精度地图。
2.根据权利要求1所述的一种实时点云建图系统，其特征在于，所述建图模块，具体用于建立MOT追踪列表；获取所述地面POI信息或所述空中POI信息，判断所述MOT追踪列表是否为空；若所述MOT追踪列表为空，则将所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；若所述MOT追踪列表为不为空，则进一步判断所述MOT追踪列表中是否有与当前所述地面POI信息相同的地面POI信息或判断所述MOT追踪列表中是否有与当前所述空中POI信息相同的空中POI信息；若所述MOT追踪列表不存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；若所述MOT追踪列表存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息添加入所述MOT追踪列表中对应的地面POI信息或将当前所述空中POI信息添加入所述MOT追踪列表中对应的空中POI信息列表中；
并建立追踪失败计时器；利用所述追踪失败计时器持续记录追踪失败的当前所述地面POI信息或当前所述空中POI信息的追踪失败时间t；并预设追踪失败时间最大阈值T；若所述当前所述地面POI信息或所述空中POI信息的追踪失败时间t大于或等于所述追踪失败时间最大阈值T，则确定所述MOT追踪列表中的当前所述地面POI信息为目标地面POI信息或所述MOT追踪列表中的当前所述空中POI信息为目标空中POI信息；
将所述目标目标地面POI信息与所述MOT追踪列表中对应的地面POI信息进行融合获取地面点云地图要素；将所述目标空中POI信息与所述所述MOT追踪列表中对应的空中POI信息进行融合获取空中点云地图要素；将所述地面点云地图要素与所述空中点云地图要素确定为点云地图要素。
3.一种实时点云建图方法，其特征在于，包括如下操作步骤：
实时获取当前车体周围的激光点云数据及当前车体的绝对位姿；
将所述当前车体周围的激光点云数据及所述当前车体的绝对位姿进行解算后，获取每时刻的激光点云数据与每时刻的当前车体的绝对位姿；将所述每时刻的激光点云数据与每时刻的当前车体的绝对位姿进行拼接，获取拼接后的数据；
将所述拼接后的数据通过点云感知输出地面POI信息与空中POI信息；
对所述地面POI信息进行追踪，获取所述地面POI信息中的目标地面POI信息；对所述空中POI信息进行追踪，获取所述空中POI信息中的目标空中POI信息；并将所述目标地面POI信息或目标空中POI信息进行融合获取点云地图要素；
将所述点云地图要素进行融合，获取高精度地图。
4.根据权利要求3所述的一种实时点云建图方法，其特征在于，所述地面POI信息包括车道线、指示箭头、斑马线、同行车辆中的任意一种或多种。
5.根据权利要求4所述的一种实时点云建图方法，其特征在于，所述空中POI信息包括杆件、交通标牌、红绿灯、飞鸟、落叶中的任意一种或多种。
6.根据权利要求5所述的一种实时点云建图方法，其特征在于，所述目标地面POI信息包括车道线、指示箭头、斑马线中的任意一种或多种。
7.根据权利要求6所述的一种实时点云建图方法，其特征在于，所述目标空中POI信息包括杆件、交通标牌、红绿灯中的任意一种或多种。
8.根据权利要求7所述的一种实时点云建图方法，其特征在于，所述对所述地面POI信息进行追踪，获取所述地面POI信息中的目标地面POI信息；对所述空中POI信息进行追踪，获取所述空中POI信息中的目标空中POI信息；并将所述目标地面POI信息或所述目标空中POI信息进行融合获取点云地图要素，包括如下操作步骤：
建立MOT追踪列表；获取所述地面POI信息或所述空中POI信息，判断所述MOT追踪列表是否为空；
若所述MOT追踪列表为空，则将所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；若所述MOT追踪列表为不为空，则进一步判断所述MOT追踪列表中是否有与当前所述地面POI信息相同的地面POI信息或判断所述MOT追踪列表中是否有与当前所述空中POI信息相同的空中POI信息；
若所述MOT追踪列表不存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息或所述空中POI信息添加入所述MOT追踪列表；
若所述MOT追踪列表存在与当前所述地面POI信息相同的地面POI信息或与当前所述空中POI信息相同的空中POI信息，则将当前所述地面POI信息添加入所述MOT追踪列表中对应的地面POI信息或将当前所述空中POI信息添加入所述MOT追踪列表中对应的空中POI信息列表中；
建立追踪失败计时器；利用所述追踪失败计时器持续记录追踪失败的当前所述地面POI信息或当前所述空中POI信息的追踪失败时间t；
预设追踪失败时间最大阈值T；若所述当前所述地面POI信息或所述空中POI信息的追踪失败时间t大于或等于所述追踪失败时间最大阈值T，则确定所述MOT追踪列表中的当前所述地面POI信息为目标地面POI信息或所述MOT追踪列表中的当前所述空中POI信息为目标空中POI信息；
将所述目标目标地面POI信息与所述MOT追踪列表中对应的地面POI信息进行融合获取地面点云地图要素；将所述目标空中POI信息与所述所述MOT追踪列表中对应的空中POI信息进行融合获取空中点云地图要素；将所述地面点云地图要素与所述空中点云地图要素确定为点云地图要素。
CN202310276298.8A 2023-03-21 2023-03-21 一种实时点云建图系统及方法 Pending CN116299545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310276298.8A CN116299545A (zh) 2023-03-21 2023-03-21 一种实时点云建图系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310276298.8A CN116299545A (zh) 2023-03-21 2023-03-21 一种实时点云建图系统及方法

Publications (1)

Publication Number Publication Date
CN116299545A true CN116299545A (zh) 2023-06-23

Family

ID=86777630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310276298.8A Pending CN116299545A (zh) 2023-03-21 2023-03-21 一种实时点云建图系统及方法

Country Status (1)

Country Link
CN (1) CN116299545A (zh)

Similar Documents

Publication Publication Date Title
JP7020728B2 (ja) システム、方法およびプログラム
JP7432285B2 (ja) レーンマッピング及びナビゲーション
CN107235044B (zh) 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
US10620317B1 (en) Lidar-based high definition map generation
JP5435306B2 (ja) 画像処理システム及び位置測位システム
CN112069856A (zh) 地图生成方法、驾驶控制方法、装置、电子设备及系统
US11231283B2 (en) Localization with neural network based image registration of sensor data and map data
CN111006655A (zh) 机场巡检机器人多场景自主导航定位方法
CN113358125B (zh) 一种基于环境目标检测和环境目标地图的导航方法及系统
CN113743469B (zh) 一种融合多源数据及综合多维指标的自动驾驶决策方法
CN114808649B (zh) 基于视觉系统控制的公路划线方法
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
CN117576652A (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN111427331B (zh) 无人驾驶车辆的感知信息展示方法、装置和电子设备
Singh et al. A Review: Techniques of vehicle detection in Fog
CN116299545A (zh) 一种实时点云建图系统及方法
CN113701770A (zh) 一种高精地图生成方法及系统
CN109144052B (zh) 用于自动驾驶车辆的导航系统及其方法
CN112634610A (zh) 自然驾驶数据采集方法、装置、电子设备以及存储介质
Thai et al. Application of edge detection algorithm for self-driving vehicles
CN113874681A (zh) 点云地图质量的评估方法和系统
CN114216469B (zh) 一种对高精地图进行更新的方法、智慧基站及存储介质
CN113932820A (zh) 对象检测的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination