CN111681172A - 协同构建点云地图的方法、设备和系统 - Google Patents

协同构建点云地图的方法、设备和系统 Download PDF

Info

Publication number
CN111681172A
CN111681172A CN202010553190.5A CN202010553190A CN111681172A CN 111681172 A CN111681172 A CN 111681172A CN 202010553190 A CN202010553190 A CN 202010553190A CN 111681172 A CN111681172 A CN 111681172A
Authority
CN
China
Prior art keywords
point cloud
road section
cloud data
data
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010553190.5A
Other languages
English (en)
Inventor
孔旗
张金凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202010553190.5A priority Critical patent/CN111681172A/zh
Publication of CN111681172A publication Critical patent/CN111681172A/zh
Priority to US18/002,092 priority patent/US20230351686A1/en
Priority to PCT/CN2021/092280 priority patent/WO2021254019A1/zh
Priority to EP21824786.4A priority patent/EP4170581A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

本公开提出一种协同构建点云地图的方法、设备和系统，涉及点云地图构建领域。该方法包括：获取多个车辆在不同路段上移动时分别采集的相应路段的点云数据，不同的车辆对应预设路线中不同的路段，任意相邻的第一路段和第二路段设置有重叠区域；利用重叠区域的点云数据，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵；利用所述变换矩阵对所述第二路段的点云数据进行变换；将第一路段的点云数据和变换后的第二路段的点云数据进行拼接，以构建所述预设路线的点云地图。从而，提高构建整个路线的点云地图的效率，可适用于在线构建点云地图的业务场景。

Description

协同构建点云地图的方法、设备和系统
技术领域
本公开涉及点云地图构建领域，特别涉及一种协同构建点云地图的方法、设备和系统。
背景技术
自动驾驶领域使用的点云地图，目前由专门的地图数据采集车搭载昂贵的高精度的地图数据采集设备，如高精度的组合惯导设备、高精度的多线激光雷达设备等，对预设路线进行数据采集，由后端设备对采集的数据进行离线处理后构建点云地图。
发明内容
本公开实施例提出多个车辆协同构建点云地图的方案，不同的车辆采集预设路线中不同路段的点云数据，利用相邻两路段重叠区域的点云数据，确定相邻两路段的点云数据的变换矩阵，基于变换后的点云数据进行不同路段的点云数据的拼接，以构建整个路线的点云地图。从而，提高构建整个路线的点云地图的效率，可适用于在线构建点云地图的业务场景。此外，每个车辆采集一个路段的点云数据，无需采集整个路线的点云数据，因此，降低了每个车辆搭载的地图数据采集设备的精度要求。
本公开的一些实施例提出一种协同构建点云地图的方法，包括：
获取多个车辆在不同路段上移动时分别采集的相应路段的点云数据，不同的车辆对应预设路线中不同的路段，任意相邻的第一路段和第二路段设置有重叠区域；
利用重叠区域的点云数据，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵；
利用所述变换矩阵对所述第二路段的点云数据进行变换；
将第一路段的点云数据和变换后的第二路段的点云数据进行拼接，以构建所述预设路线的点云地图。
在一些实施例中，每个路段的点云数据包括：所述路段的各个单帧点云和每个单帧点云相应的标记数据；其中，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵，包括：通过配准具有相同标记数据的第一路段中重叠区域的单帧点云和第二路段中重叠区域的单帧点云，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵。
在一些实施例中，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵，包括：
将具有相同标记数据的第一路段中重叠区域的单帧点云和第二路段中重叠区域的单帧点云分别作为目标点云和源点云，获取源点云和目标点云的匹配点对；
基于匹配点对构造旋转平移矩阵；
利用旋转平移矩阵对源点云进行变换；
计算变换后的源点云与目标点云之间的误差；
如果误差大于预设误差，继续迭代地执行上述各步骤，如果误差不大于预设误差，停止迭代，将所述误差相应的旋转平移矩阵确定为第二路段的点云数据变换到第一路段的点云数据的变换矩阵。
在一些实施例中，每个路段的每个单帧点云相应的标记数据包括以下至少一项：所述路段的车辆在采集所述路段的单帧点云时当前的全局位置信息和航向信息；所述路段的车辆在采集所述路段的单帧点云时拍摄的环境图像。
在一些实施例中，不同单帧点云对应的环境图像的特征向量的相似度大于预设值时被判定为具有相同标记数据的不同单帧点云；不同单帧点云对应的车辆的全局位置信息和航向信息相同时被判定为具有相同标记数据的不同单帧点云。
在一些实施例中，所述第二路段的点云数据包括：所述第二路段的各个单帧点云的点云数据和每个单帧点云相应的局部位姿信息，其中，所述第二路段的单帧点云的点云数据包括：构成所述单帧点云的每个点在以所述第二路段的车辆为原点的局部坐标系下的位置信息，所述第二路段的单帧点云相应的局部位姿信息是：所述第二路段的车辆在采集所述第二路段的单帧点云时的当前位姿相对于在采集所述第二路段的起始单帧点云时的起始位姿的相对位姿信息；利用所述变换矩阵对所述第二路段的点云数据进行变换，包括：所述第二路段的每个单帧点云相应的局部位姿信息先乘以所述变换矩阵，再乘以所述单帧点云的点云数据。
在一些实施例中，还包括：根据每个路段的点云数据，对每个路段的各个点进行聚类；从每个路段的点云数据中，去除与预设的移动对象的形状相匹配的聚类得到的点集。
在一些实施例中，每个路段的点云数据是去除预设的移动对象的点集后的点云数据，其中，所述去除操作包括每个路段的车辆基于所述路段的点云数据，对所述路段的各个点进行聚类，从所述路段的点云数据中，去除与预设的移动对象的形状相匹配的聚类得到的点集。
在一些实施例中，构建所述预设路线的点云地图包括：根据第一路段的点云数据和变换后的第二路段的点云数据，利用LeGO-LOAM构建所述预设路线的点云地图。
在一些实施例中，还包括：
获取任一车辆采集的预设路线中发生变化的第三路段的点云数据，第三路段与预设路线中未发生变化的第四路段设置有重叠区域；
利用重叠区域的点云数据，确定第三路段的点云数据变换到第四路段的点云数据的变换矩阵；
利用所述变换矩阵对所述第三路段的点云数据进行变换；
将第四路段的点云数据和变换后的第三路段的点云数据进行拼接，以构建所述预设路线的点云地图。
本公开的一些实施例提出一种协同构建点云地图的系统，包括：
多个车辆，每个车辆被配置为在相应路段上移动时采集相应路段的点云数据，并将采集的点云数据发送给协同构建点云地图的设备，不同的车辆对应预设路线中不同的路段；
协同构建点云地图的设备，被配置为执行任一个实施例所述的协同构建点云地图的方法。
在一些实施例中，所述协同构建点云地图的设备是多个车辆的其中一个车辆。
本公开的一些实施例提出一种协同构建点云地图的设备，包括：
通信装置，被配置为获取多个车辆在不同路段上移动时分别采集的相应路段的点云数据；
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一个实施例所述协同构建点云地图的方法。
在一些实施例中，所述协同构建点云地图的设备是多个车辆的其中一个车辆；所述协同构建点云地图的设备还包括：
点云数据采集装置，被配置为在相应路段上移动时采集相应路段的各个单帧点云；
位姿检测装置，被配置为检测每个单帧点云相应的当前位姿相对于起始单帧点云相应的起始位姿的相对位姿信息；
标记数据采集装置，被配置为在每个单帧点云被采集的同时采集所述单帧点云相应的标记数据。
在一些实施例中，所述标记数据采集装置包括：全球定位和导航装置；或者，包括：摄像装置。
本公开的一些实施例提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一个实施例所述的协同构建点云地图的方法的步骤。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开一些实施例的协同构建点云地图的方法的流程示意图。
图2示出本公开一些实施例的协同构建点云地图的应用场景示意图。
图3示出本公开另一些实施例的协同构建点云地图的方法的流程示意图。
图4示出本公开一些实施例的协同构建点云地图的系统的示意图。
图5示出本公开一些实施例的协同构建点云地图的设备的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
除非特别说明，本公开中的“第一”“第二”等描述用来表示不同的对象，并不用来表示大小或时序等含义。
图1示出本公开一些实施例的协同构建点云地图的方法的流程示意图。
如图1所示，该实施例的方法包括：步骤110-140。
在步骤110，协同构建点云地图的设备获取多个车辆在不同路段上移动时分别采集的相应路段的点云数据，不同的车辆对应预设路线中不同的路段，任意相邻的第一路段和第二路段设置有重叠区域。
协同构建点云地图的设备可以是多个车辆的其中一个车辆，也可以是其他的设备。采集点云数据的车辆例如可以是自动驾驶车辆。自动驾驶车辆利用自身携带的传感器就可以采集点云数据，无需额外增加其他的传感器。
采集的每个路段的点云数据包括：该路段的各个单帧点云和每个单帧点云相应的标记数据。该路段的单帧点云包括：单帧点云的点云数据和单帧点云相应的局部位姿信息。
每个路段的单帧点云的点云数据(或称，第一点云数据)包括：构成该单帧点云的每个点在以该路段的车辆为原点的局部坐标系下的位置信息。第一点云数据例如可以由点云数据采集装置，例如激光雷达设备获取。每个路段的单帧点云相应的局部位姿信息是：该路段的车辆在采集该路段的各单帧点云时的当前位姿相对于在采集该路段的起始单帧点云时的起始位姿的相对位姿信息。单帧点云相应的局部位姿信息例如可以由位姿检测装置，如惯性导航设备获取。
根据单帧点云的第一点云数据和单帧点云相应的局部位姿信息可以确定单帧点云的第二点云数据。每个路段的单帧点云的第二点云数据包括：构成该单帧点云的每个点在以该路段的车辆的起始位姿为原点的局部坐标系下的位置信息。例如，单帧点云相应的局部位姿矩阵乘以该单帧点云的第一点云数据得到单帧点云的第二点云数据。公式表示如下：
Figure BDA0002543332330000061
其中，
Figure BDA0002543332330000062
表示局部位姿矩阵，R3×3表示3行3列的姿态矩阵，P3×1表示3行1列的位置矩阵，(x,y,z)表示第一点云数据中的一个点的位置信息，(x′,y′,z′)表示第二点云数据中的一个点的位置信息。
基于一个路段的各个单帧点云的第一点云数据和单帧点云相应的局部位姿信息，或者，基于一个路段的各个单帧点云的第二点云数据，就可以构建该路段的局部点云地图。
每个路段的单帧点云相应的标记数据例如包括：该路段的车辆在采集该路段的单帧点云时当前的全局位置信息和航向信息，或者，该路段的车辆在采集该路段的单帧点云时拍摄的环境图像中的至少一项。标记数据由标记数据采集装置获取。例如，全局位置信息和航向信息可以由车辆上搭载的全球定位和导航装置获取，环境图像由摄像装置获取。
在一些实施例中，协同构建点云地图的设备在获取各个路段的点云数据之后，根据每个路段的点云数据，对每个路段的各个点进行聚类，例如，利用每个路段的各单帧点云的第二点云数据(即，构成该单帧点云的每个点在以该路段的车辆的起始位姿为原点的局部坐标系下的位置信息)，对每个路段的各个点进行聚类，然后，从每个路段的点云数据中，去除与预设的移动对象的形状相匹配的聚类得到的点集。从而，从点云数据中，去除行人、行进车辆等移动对象所形成的噪声。
每个车辆发送给协同构建点云地图的设备的每个路段的点云数据可以是去除预设的移动对象的点集后的点云数据。该去除操作包括每个路段的车辆基于该路段的点云数据，对该路段的各个点进行聚类，例如，利用该路段的各单帧点云的第二点云数据(即，构成该单帧点云的每个点在以该路段的车辆的起始位姿为原点的局部坐标系下的位置信息)，对该路段的各个点进行聚类，然后，从该路段的点云数据中，去除与预设的移动对象的形状相匹配的聚类得到的点集。从而，从点云数据中，去除行人、行进车辆等移动对象所形成的噪声，并且，可以减少车辆与协同构建点云地图的设备之间的信息传输量。
在步骤120，协同构建点云地图的设备利用重叠区域的点云数据，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵。
通过配准具有相同标记数据的第一路段中重叠区域的单帧点云和第二路段中重叠区域的单帧点云，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵。
例如，利用迭代最近点(Iterative Closest Point，ICP)算法进行不同点云之间的配准。具体来说，将具有相同标记数据的第一路段中重叠区域的单帧点云和第二路段中重叠区域的单帧点云分别作为目标点云和源点云，获取源点云和目标点云的匹配点对；基于匹配点对构造旋转平移矩阵；利用旋转平移矩阵对源点云进行变换；计算变换后的源点云与目标点云之间的误差；如果误差大于预设误差，继续迭代地执行上述各步骤，如果误差不大于预设误差，停止迭代，将该误差相应的旋转平移矩阵确定为第二路段的点云数据变换到第一路段的点云数据的变换矩阵。
不同单帧点云对应的车辆的全局位置信息和航向信息相同时被判定为具有相同标记数据的不同单帧点云。或者，不同单帧点云对应的环境图像的特征向量的相似度大于预设值时被判定为具有相同标记数据的不同单帧点云。或者，不同单帧点云对应的车辆的全局位置信息和航向信息相同，且不同单帧点云对应的环境图像的特征向量的相似度大于预设值时，被判定为具有相同标记数据的不同单帧点云。
在步骤130，协同构建点云地图的设备利用该变换矩阵对该第二路段的点云数据进行变换。
变换方法例如包括：该第二路段的每个单帧点云相应的局部位姿信息先乘以该变换矩阵，再乘以该单帧点云的点云数据(第一点云数据)。从而，将第二路段的点云数据变换到第一路段的坐标系下。
Figure BDA0002543332330000081
其中,
Figure BDA0002543332330000082
表示单帧点云相应的局部位姿信息，(x,y,z)表示单帧点云的第一点云数据中的一个点的位置信息，(x′′,y′′,z′′)表示单帧点云的变换后的点云数据中的一个点的位置信息，N是运算的中间产物，没有实际意义。
Figure BDA0002543332330000083
表示变换矩阵。
在步骤140，协同构建点云地图的设备将第一路段的点云数据和变换后的第二路段的点云数据进行拼接，以构建该预设路线的点云地图。
根据前述，第二路段的点云数据已经变换到第一路段的坐标系下，因此，将第一路段的各个单帧点云的第二点云数据、以及第二路段的各个单帧点云变换后的点云数据进行拼接，就可以构建出第一路段和第二路段的点云地图。
如果预设路线被划分的路段多于两个路段，则其他相邻路段的点云地图的构建方法与第一路段和第二路段的点云地图的构建方法是相同的，这里不再赘述。
针对预设路线中任意向量的第一路段和第二路段，根据第一路段的点云数据和变换后的第二路段的点云数据，利用LeGO-LOAM工具可以构建该预设路线的点云地图。也即，将各个路段的点云数据输入LeGO-LOAM工具，就可以构建整个线路的点云地图。
上述多个车辆协同构建点云地图的方案，不同的车辆采集预设路线中不同路段的点云数据，利用相邻两路段重叠区域的点云数据，确定相邻两路段的点云数据的变换矩阵，基于变换后的点云数据进行不同路段的点云数据的拼接，以构建整个路线的点云地图。从而，提高构建整个路线的点云地图的效率，可适用于在线构建点云地图的业务场景。此外，每个车辆采集一个路段的点云数据，无需采集整个路线的点云数据，因此，降低了每个车辆搭载的地图数据采集设备的精度要求。
图2示出本公开一些实施例的协同构建点云地图的应用场景示意图。
4个车辆协同构建图2所示的矩形路线的点云地图。每个车辆分别负责采集其中一个路段的点云数据。相邻的路段均设置有重叠区域。4个车辆的其中一个车辆作为协同构建点云地图的设备，称为主车。其他车辆分别设为1号车、2号车、3号车。4个车辆按照相同的运行方向，在各自所负责的路段上移动，同时采集各自所负责路段的点云数据。1号车、2号车、3号车将采集的相应路段的点云数据传输给主车。主车根据1号车、2号车、3号车采集的相应路段的点云数据，以及主车自己采集的相应路段的点云数据，按照图1所示实施例的方法，就可以构建出整个矩形路线的点云地图。
例如，主车的路段与1号车的路段是相邻路段，将1号车的路段的点云数据变换到主车的路段的坐标下，通过拼接主车的路段的点云数据和变换后的1号车的路段的点云数据，就可以构建出主车的路段和1号车的路段的点云地图。主车的路段与3号车的路段是相邻路段，将3号车的路段的点云数据变换到主车的路段的坐标下，通过拼接主车的路段的点云数据和变换后的3号车的路段的点云数据，就可以构建出主车的路段和3号车的路段的点云地图。由于主车的路段与1号车的路段的点云数据已经统一到同一坐标系下，因此，将主车的路段与1号车的路段作为一个合并路段，该合并路段与2号车的路段是相邻路段，将2号车的路段的点云数据变换到合并路段(即主车的路段)的坐标下，通过拼接合并路段的点云数据和变换后的2号车的路段的点云数据，就可以构建出合并路段和2号车的路段的点云地图。按照类似的处理，最终构建出整个矩形路线的点云地图。
图3示出本公开另一些实施例的协同构建点云地图的方法的流程示意图。
如图3所示，该实施例的方法在图1所示实施例的基础上，进一步还包括：步骤350-380。
在步骤350，假设预设路线中某个路段(第三路段)发生变化，由任一车辆去采集该发生变化的第三路段的点云数据，并发送给协同构建点云地图的设备。协同构建点云地图的设备获取任一车辆采集的预设路线中发生变化的第三路段的点云数据，第三路段与预设路线中未发生变化的路段(第四路段)设置有重叠区域。
在步骤360，协同构建点云地图的设备利用重叠区域的点云数据，确定第三路段的点云数据变换到第四路段的点云数据的变换矩阵。
第三路段的点云数据变换到第四路段的点云数据的变换矩阵的确定方法与第二路段的点云数据变换到第一路段的点云数据的变换矩阵的确定方法是相同的，具体方法可以参考前述。
在步骤370，协同构建点云地图的设备利用该变换矩阵对该第三路段的点云数据进行变换。
利用变换矩阵对第三路段的点云数据进行变换的方法与利用变换矩阵对第二路段的点云数据进行变换的方法是相同的，具体方法可以参考前述。
在步骤380，协同构建点云地图的设备将第四路段的点云数据和变换后的第三路段的点云数据进行拼接，以构建该预设路线的点云地图。拼接方法具体参考前述。
从而，在局部点云地图变化时，仅需要针对该局部路段的点云地图进行重建，提高整个路线的点云地图的更新效率。
图4示出本公开一些实施例的协同构建点云地图的系统的示意图。
如图4所示，该实施例的系统包括：多个车辆410和协同构建点云地图的设备420。该协同构建点云地图的设备例如可以是多个车辆的其中一个车辆，称为主车，也可以是其他设备。
多个车辆410，每个车辆被配置为在相应路段上移动时采集相应路段的点云数据，并将采集的点云数据发送给协同构建点云地图的设备，不同的车辆对应预设路线中不同的路段。
协同构建点云地图的设备420，被配置为执行任一个实施例的协同构建点云地图的方法。
例如，协同构建点云地图的设备获取多个车辆在不同路段上移动时分别采集的相应路段的点云数据，不同的车辆对应预设路线中不同的路段，任意相邻的第一路段和第二路段设置有重叠区域；利用重叠区域的点云数据，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵；利用变换矩阵对第二路段的点云数据进行变换；将第一路段的点云数据和变换后的第二路段的点云数据进行拼接，以构建预设路线的点云地图。
又例如，协同构建点云地图的设备获取任一车辆采集的预设路线中发生变化的第三路段的点云数据，第三路段与预设路线中未发生变化的第四路段设置有重叠区域；利用重叠区域的点云数据，确定第三路段的点云数据变换到第四路段的点云数据的变换矩阵；利用变换矩阵对第三路段的点云数据进行变换；将第四路段的点云数据和变换后的第三路段的点云数据进行拼接，以构建预设路线的点云地图。
图5示出本公开一些实施例的协同构建点云地图的设备的示意图。
如图5所示，该实施例的协同构建点云地图的设备420包括：
通信装置421，被配置为获取多个车辆在不同路段上移动时分别采集的相应路段的点云数据；
存储器422；以及
耦接至该存储器的处理器423，该处理器被配置为基于存储在该存储器中的指令，执行任一个实施例的协同构建点云地图的方法，具体内容参考前述，这里不再赘述。
通信装置421例如可以是无线通信装置，如无线局域网通信装置，或者，移动网络通信装置，如第五代移动网络通信装置、第四代移动网络通信装置等。
存储器422例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
协同构建点云地图的设备420例如可以是多个车辆的其中一个车辆，此时，协同构建点云地图的设备420还包括：
点云数据采集装置424，被配置为在相应路段上移动时采集相应路段的各个单帧点云，例如激光雷达设备,其中，激光雷达设备采集的点云数据除了包括点的位置信息，还包括反射信号强度等信息；
位姿检测装置425，被配置为检测每个单帧点云相应的当前位姿相对于起始单帧点云相应的起始位姿的相对位姿信息，例如惯性导航设备；以及
标记数据采集装置426，被配置为在每个单帧点云被采集的同时采集该单帧点云相应的标记数据，例如，全球定位和导航装置、摄像装置等。
上述的装置421-426例如可以通过总线427连接。
本公开还提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一个实施例的协同构建点云地图的方法的步骤。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机程序代码的非瞬时性计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (16)

1.一种协同构建点云地图的方法，其特征在于，包括：
获取多个车辆在不同路段上移动时分别采集的相应路段的点云数据，不同的车辆对应预设路线中不同的路段，任意相邻的第一路段和第二路段设置有重叠区域；
利用重叠区域的点云数据，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵；
利用所述变换矩阵对所述第二路段的点云数据进行变换；
将第一路段的点云数据和变换后的第二路段的点云数据进行拼接，以构建所述预设路线的点云地图。
2.根据权利要求1所述的方法，其特征在于，
每个路段的点云数据包括：所述路段的各个单帧点云和每个单帧点云相应的标记数据；
其中，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵，包括：
通过配准具有相同标记数据的第一路段中重叠区域的单帧点云和第二路段中重叠区域的单帧点云，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵。
3.根据权利要求2所述的方法，其特征在于，确定第二路段的点云数据变换到第一路段的点云数据的变换矩阵，包括：
将具有相同标记数据的第一路段中重叠区域的单帧点云和第二路段中重叠区域的单帧点云分别作为目标点云和源点云，获取源点云和目标点云的匹配点对；
基于匹配点对构造旋转平移矩阵；
利用旋转平移矩阵对源点云进行变换；
计算变换后的源点云与目标点云之间的误差；
如果误差大于预设误差，继续迭代地执行上述各步骤，如果误差不大于预设误差，停止迭代，将所述误差相应的旋转平移矩阵确定为第二路段的点云数据变换到第一路段的点云数据的变换矩阵。
4.根据权利要求2所述的方法，其特征在于，每个路段的每个单帧点云相应的标记数据包括以下至少一项：
所述路段的车辆在采集所述路段的单帧点云时当前的全局位置信息和航向信息；
所述路段的车辆在采集所述路段的单帧点云时拍摄的环境图像。
5.根据权利要求4所述的方法，其特征在于，
不同单帧点云对应的环境图像的特征向量的相似度大于预设值时被判定为具有相同标记数据的不同单帧点云；
不同单帧点云对应的车辆的全局位置信息和航向信息相同时被判定为具有相同标记数据的不同单帧点云。
6.根据权利要求1所述的方法，其特征在于，
所述第二路段的点云数据包括：所述第二路段的各个单帧点云的点云数据和每个单帧点云相应的局部位姿信息，其中，所述第二路段的单帧点云的点云数据包括：构成所述单帧点云的每个点在以所述第二路段的车辆为原点的局部坐标系下的位置信息，所述第二路段的单帧点云相应的局部位姿信息是：所述第二路段的车辆在采集所述第二路段的单帧点云时的当前位姿相对于在采集所述第二路段的起始单帧点云时的起始位姿的相对位姿信息；
利用所述变换矩阵对所述第二路段的点云数据进行变换，包括：所述第二路段的每个单帧点云相应的局部位姿信息先乘以所述变换矩阵，再乘以所述单帧点云的点云数据。
7.根据权利要求1所述的方法，其特征在于，还包括：
根据每个路段的点云数据，对每个路段的各个点进行聚类；
从每个路段的点云数据中，去除与预设的移动对象的形状相匹配的聚类得到的点集。
8.根据权利要求1所述的方法，其特征在于，
每个路段的点云数据是去除预设的移动对象的点集后的点云数据，其中，所述去除操作包括每个路段的车辆基于所述路段的点云数据，对所述路段的各个点进行聚类，从所述路段的点云数据中，去除与预设的移动对象的形状相匹配的聚类得到的点集。
9.根据权利要求1所述的方法，其特征在于，构建所述预设路线的点云地图包括：
根据第一路段的点云数据和变换后的第二路段的点云数据，利用LeGO-LOAM构建所述预设路线的点云地图。
10.根据权利要求1所述的方法，其特征在于，还包括：
获取任一车辆采集的预设路线中发生变化的第三路段的点云数据，第三路段与预设路线中未发生变化的第四路段设置有重叠区域；
利用重叠区域的点云数据，确定第三路段的点云数据变换到第四路段的点云数据的变换矩阵；
利用所述变换矩阵对所述第三路段的点云数据进行变换；
将第四路段的点云数据和变换后的第三路段的点云数据进行拼接，以构建所述预设路线的点云地图。
11.一种协同构建点云地图的系统，其特征在于，包括：
多个车辆，每个车辆被配置为在相应路段上移动时采集相应路段的点云数据，并将采集的点云数据发送给协同构建点云地图的设备，不同的车辆对应预设路线中不同的路段；
协同构建点云地图的设备，被配置为执行权利要求1-10任一项所述的协同构建点云地图的方法。
12.根据权利要求11所述的系统，其特征在于，
所述协同构建点云地图的设备是多个车辆的其中一个车辆。
13.一种协同构建点云地图的设备，其特征在于，包括：
通信装置，被配置为获取多个车辆在不同路段上移动时分别采集的相应路段的点云数据；
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-10任一项所述的协同构建点云地图的方法。
14.根据权利要求13所述的设备，其特征在于，
所述协同构建点云地图的设备是多个车辆的其中一个车辆；
所述协同构建点云地图的设备还包括：
点云数据采集装置，被配置为在相应路段上移动时采集相应路段的各个单帧点云；
位姿检测装置，被配置为检测每个单帧点云相应的当前位姿相对于起始单帧点云相应的起始位姿的相对位姿信息；
标记数据采集装置，被配置为在每个单帧点云被采集的同时采集所述单帧点云相应的标记数据。
15.根据权利要求14所述的设备，其特征在于，
所述标记数据采集装置包括：全球定位和导航装置；或者，包括：摄像装置。
16.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-10任一项所述的协同构建点云地图的方法的步骤。
CN202010553190.5A 2020-06-17 2020-06-17 协同构建点云地图的方法、设备和系统 Pending CN111681172A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010553190.5A CN111681172A (zh) 2020-06-17 2020-06-17 协同构建点云地图的方法、设备和系统
US18/002,092 US20230351686A1 (en) 2020-06-17 2021-05-08 Method, device and system for cooperatively constructing point cloud map
PCT/CN2021/092280 WO2021254019A1 (zh) 2020-06-17 2021-05-08 协同构建点云地图的方法、设备和系统
EP21824786.4A EP4170581A1 (en) 2020-06-17 2021-05-08 Method, device and system for cooperatively constructing point cloud map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010553190.5A CN111681172A (zh) 2020-06-17 2020-06-17 协同构建点云地图的方法、设备和系统

Publications (1)

Publication Number Publication Date
CN111681172A true CN111681172A (zh) 2020-09-18

Family

ID=72435948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010553190.5A Pending CN111681172A (zh) 2020-06-17 2020-06-17 协同构建点云地图的方法、设备和系统

Country Status (4)

Country Link
US (1) US20230351686A1 (zh)
EP (1) EP4170581A1 (zh)
CN (1) CN111681172A (zh)
WO (1) WO2021254019A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021254019A1 (zh) * 2020-06-17 2021-12-23 北京京东乾石科技有限公司 协同构建点云地图的方法、设备和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220179424A1 (en) * 2020-12-09 2022-06-09 Regents Of The University Of Minnesota Systems and methods for autonomous navigation on sidewalks in various conditions
US20230213633A1 (en) * 2022-01-06 2023-07-06 GM Global Technology Operations LLC Aggregation-based lidar data alignment
CN115049946B (zh) * 2022-06-10 2023-09-26 安徽农业大学 一种基于点云变换的麦田生长状态判别方法与装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455144A (zh) * 2013-08-22 2013-12-18 深圳先进技术研究院 车载人机交互系统及方法
CN109781129A (zh) * 2019-01-28 2019-05-21 重庆邮电大学 一种基于车辆间通信的路面安全性检测系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846974B2 (en) * 2014-12-05 2017-12-19 Stmicroelectronics S.R.L. Absolute rotation estimation including outlier detection via low-rank and sparse matrix decomposition
CN105184852B (zh) * 2015-08-04 2018-01-30 百度在线网络技术（北京）有限公司 一种基于激光点云的城市道路识别方法及装置
CN111175775A (zh) * 2018-11-09 2020-05-19 阿里巴巴集团控股有限公司 定位数据生成方法、装置以及电子设备
CN111208492B (zh) * 2018-11-21 2022-04-19 长沙智能驾驶研究院有限公司 车载激光雷达外参标定方法及装置、计算机设备及存储介质
CN110795523B (zh) * 2020-01-06 2020-05-05 中智行科技有限公司 车辆定位方法、装置以及智能车辆
CN111681172A (zh) * 2020-06-17 2020-09-18 北京京东乾石科技有限公司 协同构建点云地图的方法、设备和系统
JP2022087914A (ja) * 2020-12-02 2022-06-14 本田技研工業株式会社 車両位置推定装置
CN115690338A (zh) * 2021-07-30 2023-02-03 北京图森智途科技有限公司 地图构建方法、装置、设备及存储介质
CN114387410B (zh) * 2021-12-10 2023-03-24 阿波罗智能技术(北京)有限公司 道路数据融合的地图生成方法、装置以及电子设备
US20240037825A1 (en) * 2022-07-26 2024-02-01 International Business Machines Corporation Restoration of a kinetic event using video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455144A (zh) * 2013-08-22 2013-12-18 深圳先进技术研究院 车载人机交互系统及方法
CN109781129A (zh) * 2019-01-28 2019-05-21 重庆邮电大学 一种基于车辆间通信的路面安全性检测系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021254019A1 (zh) * 2020-06-17 2021-12-23 北京京东乾石科技有限公司 协同构建点云地图的方法、设备和系统

Also Published As

Publication number Publication date
US20230351686A1 (en) 2023-11-02
EP4170581A1 (en) 2023-04-26
WO2021254019A1 (zh) 2021-12-23

Similar Documents

Publication Publication Date Title
CN109214248B (zh) 用于识别无人驾驶车辆的激光点云数据的方法和装置
EP3505869B1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
CN111681172A (zh) 协同构建点云地图的方法、设备和系统
CN110009718B (zh) 一种三维高精度地图生成方法及装置
CN111830953A (zh) 车辆自定位方法、装置及系统
US20200353914A1 (en) In-vehicle processing device and movement support system
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
US11430199B2 (en) Feature recognition assisted super-resolution method
Zou et al. Real-time full-stack traffic scene perception for autonomous driving with roadside cameras
CN111461981A (zh) 点云拼接算法的误差估计方法和装置
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN112859110B (zh) 一种基于三维激光雷达的定位导航方法
CN111986261A (zh) 一种车辆定位方法、装置、电子设备及存储介质
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN116977628A (zh) 一种应用于动态环境的基于多模态语义框架的slam方法及系统
CN112184906B (zh) 一种三维模型的构建方法及装置
Gökçe et al. Recognition of dynamic objects from UGVs using Interconnected Neuralnetwork-based Computer Vision system
CN116309943B (zh) 一种停车场语义地图路网构建方法、装置及电子设备
CN111754388B (zh) 一种建图方法及车载终端
CN116125980A (zh) 无人货车驾驶方法、装置、电子设备及存储介质
CN114136305B (zh) 多图层地图的创建方法、系统、设备及计算机可读存储介质
CN117635721A (zh) 目标定位方法及相关系统、存储介质
Wong et al. Position interpolation using feature point scale for decimeter visual localization
CN111461982B (zh) 用于拼接点云的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination