CN117232499A - 多传感器融合的点云地图构建方法、装置、设备及介质 - Google Patents
多传感器融合的点云地图构建方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117232499A CN117232499A CN202311218323.3A CN202311218323A CN117232499A CN 117232499 A CN117232499 A CN 117232499A CN 202311218323 A CN202311218323 A CN 202311218323A CN 117232499 A CN117232499 A CN 117232499A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- laser radar
- robot system
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 48
- 238000010276 construction Methods 0.000 title claims abstract description 31
- 238000005259 measurement Methods 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000012937 correction Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000008447 perception Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明实施例公开了一种多传感器融合的点云地图构建方法、装置、设备及介质。该方法包括：通过多传感器获取机器人系统在初始点云地图下的激光雷达点云数据、图像数据以及惯性测量数据；分别对激光雷达点云数据、图像数据以及惯性测量数据进行数据处理，确定在不同传感器下机器人系统的运动状态以及全局环境信息；将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。采用本发明实施例的技术方案，通过激光雷达获取高精度的深度信息，通过图像获取环境的颜色和纹理信息，并利用惯性测量单元对运动估计和误差进行补偿，提高地图构建的精度和鲁棒性。
Description
技术领域
本发明实施例涉及机器人技术领域，尤其涉及一种多传感器融合的点云地图构建方法、装置、设备及介质。
背景技术
近年来，同时定位和建图(SLAM)已成为机器人自主导航的一项主流技术。在不具备先验信息的环境中，机器人搭载相机以及激光雷达等传感器对周围环境进行扫描，构建周围环境的三维地图，从而实现自主行走和决策等功能。
SLAM通常分为视觉SLAM和激光SLAM，两者各有其优缺点，激光雷达无法获取周围环境的颜色细节信息，而视觉SLAM观测范围有限，并且在光照条件不好的情况下误差较大。仅使用激光与IMU或相机与IMU实现运动估计，对单一场景较为有效，对于跨室内外的复杂场景，很难同时满足建图鲁棒性和精度的技术需求。
发明内容
本发明实施例提供一种多传感器融合的点云地图构建方法、装置、设备及介质，以实现生成带颜色信息的点云地图，并利用IMU的高频率信息对运动估计和系统误差进行补偿，提高了地图构建的精度和鲁棒性。
第一方面，本发明实施例提供了一种多传感器融合的点云地图构建方法，包括：
通过多传感器获取机器人系统在初始点云地图下的激光雷达点云数据、图像数据以及惯性测量数据；其中，多传感器包括激光雷达、图像采集设备以及惯性测量单元；
分别对激光雷达点云数据、图像数据以及惯性测量数据进行数据处理，确定在不同传感器下机器人系统的运动状态以及全局环境信息；
将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。
第二方面，本发明实施例还提供了一种多传感器融合的点云地图构建装置，包括：
数据获取模块，用于通过多传感器获取机器人系统在当前时刻的激光雷达点云数据、图像数据以及惯性测量数据；其中，多传感器包括激光雷达、图像采集设备以及惯性测量单元；
数据处理模块，用于分别对激光雷达点云数据、图像数据以及惯性测量数据进行数据处理，确定在不同传感器下机器人系统的运动状态以及全局环境信息；
点云地图构建模块，用于将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的多传感器融合的点云地图构建方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的多传感器融合的点云地图构建方法。
本发明实施例提供了一种多传感器融合的点云地图构建方法、装置、电子设备和存储介质，通过多传感器获取机器人系统在初始点云地图下的激光雷达点云数据、图像数据以及惯性测量数据；其中，多传感器包括激光雷达、图像采集设备以及惯性测量单元；分别对激光雷达点云数据、图像数据以及惯性测量数据进行数据处理，确定在不同传感器下机器人系统的运动状态以及全局环境信息；将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。采用本发明实施例的技术方案，通过激光雷达获取高精度的深度信息，通过图像获取环境的颜色和纹理信息，并利用惯性测量单元对运动估计和误差进行补偿，提高地图构建的精度和鲁棒性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中提供的一种多传感器融合的点云地图构建方法的流程图；
图2是本发明实施例中提供的一种数据处理的结构示意图；
图3是本发明实施例中提供的另一种多传感器融合的点云地图构建方法的流程图；
图4是本发明实施例中提供的一种多传感器融合的点云地图构建的结构示意图；
图5是本发明实施例中提供的一种点云误差跟踪的结构示意图；
图6是本发明实施例中提供的一种采用多传感器融合后构建的点云地图的结构示意图；
图7是本发明实施例中提供的一种多传感器融合的点云地图构建装置的结构示意图；
图8是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
其中，本申请技术方案中对数据的获取、存储、使用以及处理等均符合国家法律法规的相关规定。
图1是本发明实施例中提供的一种多传感器融合的点云地图构建方法的流程图，本实施例可适用于在未知环境下对机器人运动状态进行估计以及通过多传感器融合构建点云地图的情况，本实施例的方法可以由多传感器融合的点云地图构建装置来执行，该装置可以采用硬件和/或软件的方式来实现。该装置可以配置于多传感器融合的点云地图构建的服务器中。该方法具体包括如下步骤：
S110、通过多传感器获取机器人系统在当前时刻的激光雷达点云数据、图像数据以及惯性测量数据。
其中，多传感器包括激光雷达、图像采集设备以及惯性测量单元。通过激光雷达获取机器人系统所处环境下的激光雷达点云数据。通过图像采集设备获取机器人系统所处环境下的图像数据；所述图像采集设备包括但不限于相机。通过惯性测量单元(InertialMeasurement Unit，IMU)获取机器人系统所处环境下的惯性测量数据。
作为一种可选的但非限定性的实现方式，所述通过多传感器获取机器人系统在初始点云地图下的激光雷达点云数据、图像数据以及惯性测量数据，包括但不限于步骤A1-A3：
步骤A1：通过激光雷达获取机器人系统在初始点云地图下的激光雷达点云数据；所述激光雷达点云数据包括机器人系统周围环境的深度信息。
步骤A2：通过图像采集设备获取机器人系统在初始点云地图下的图像数据；所述图像数据包括机器人系统周围环境的颜色和纹理信息。
步骤A3：通过惯性测量单元获取机器人系统在初始点云地图下的惯性测量数据；其中，所述惯性测量数据用于对机器人系统的运动状态进行估计以及对机器人系统的运动估计误差进行补偿；惯性测量数据包括机器人系统的三轴角速度和加速度信息。
其中，参见图2，图像采集设备以相机为例。通过激光雷达获取机器人系统周围环境的深度信息，并将激光雷达点云数据传输至感知计算单元；通过相机获取机器人系统周围环境的颜色和纹理信息，并将图像数据传输至感知计算单元；IMU单元向感知计算单元输出机器人系统的三轴角速度和加速度信息，对机器人系统的运动估计和误差进行补偿。
S120、分别对激光雷达点云数据、图像数据以及惯性测量数据进行数据处理，确定在不同传感器下机器人系统的运动状态以及全局环境信息。
其中，将激光雷达、图像采集设备以及惯性测量单元分别与感知计算单元进行连接，通过感知计算单元对接收到的激光雷达点云数据、图像数据以及惯性测量数据进行数据处理，估算机器人系统当前的位姿和全局环境信息。
可选的，所述数据处理可以是指对激光雷达点云数据、图像数据以及惯性测量数据进行处理，以对机器人系统的运动状态进行估计并对初始点云地图进行更新。例如，对激光雷达点云数据进行畸变校正，并采用校正后的激光雷达点云数据对机器人系统的运动状态以及初始点云地图进行更新；采用惯性测量数据对机器人系统的运动状态进行估计；对图像数据中无颜色点云进行跟踪，对无颜色点云添加颜色信息，以对初始点云地图添加颜色信息并更新。
S130、将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。
其中，时间同步可以是指对获取的激光雷达点云数据、图像数据以及惯性测量数据进行时间同步，以确保在对点云地图进行构建时，对同一点云的激光雷达点云数据、图像数据以及惯性测量数据进行构建时是对同一时间的点云进行处理构建。
其中，在将激光雷达点云数据、图像数据以及惯性测量数据进行处理后，确定初始化点云地图在不同传感器下更新后的点云地图以及机器人系统运动状态；将不同传感器下更新后的点云地图以及机器人系统运动状态进行时间同步，以对机器人系统的运动状态进行更新，对初始点云地图进行综合更新以构建多传感器融合的点云地图。
本发明实施例提供了一种多传感器融合的点云地图构建方法，通过多传感器获取机器人系统在初始点云地图下的激光雷达点云数据、图像数据以及惯性测量数据；其中，多传感器包括激光雷达、图像采集设备以及惯性测量单元；分别对激光雷达点云数据、图像数据以及惯性测量数据进行数据处理，确定在不同传感器下机器人系统的运动状态以及全局环境信息；将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。采用本发明实施例的技术方案，通过激光雷达获取高精度的深度信息，通过图像获取环境的颜色和纹理信息，并利用惯性测量单元对运动估计和误差进行补偿；通过对无颜色点云添加颜色信息使得构建的点云地图具有丰富的颜色信息，提高地图构建的精度和鲁棒性。
图3为本发明实施例中提供的另一种多传感器融合的点云地图构建方法的流程图。本发明实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图3所示，本发明实施例中提供的多传感器融合的点云地图构建方法，可包括以下步骤：
S310、通过多传感器获取机器人系统在初始点云地图下的激光雷达点云数据、图像数据以及惯性测量数据。
S320、若当前输入的数据是惯性测量数据，则采用惯性测量数据对机器人系统的运动状态进行预测。
其中，采用感知计算单元对多传感器获取的激光雷达点云数据、图像数据以及惯性测量数据进行处理。若当前输入的数据是惯性测量单元，则采用惯性测量单元对机器人系统的运动状态进行更新。例如，向感知计算单元输入系统的三轴角速度以及加速度信息，以对机器人系统的初始运动状态进行更新。
在本发明实施例的一种可选方案中，对多传感器获取机器人系统在初始点云地图下的激光雷达点云数据、图像数据以及惯性测量数据进行数据处理时，激光雷达点云数据、图像数据以及惯性测量数据的数据处理顺序在本发明实施例中不做具体限制，可依据实际输入数据进行数据处理。
S330、若当前输入的数据是激光雷达点云数据，则采用惯性测量数据对激光雷达点云数据进行运动畸变校正，并采用校正后的激光雷达点云数据对机器人系统运动状态进行更新。
其中，参见图4，若向感知计算单元输入的数据是激光雷达点云数据，则获取激光点云的面特征以及边缘特征，并采用惯性测量数据对激光点云进行运动畸变校正；采用校正后的激光雷达点云数据对机器人系统的运动状态进行预测更新。
作为一种可选的但非限定性的实现方式，所述若当前输入的数据是激光雷达点云数据，则采用惯性测量数据对激光雷达点云数据进行运动畸变校正，并采用校正后的激光雷达点云数据对机器人系统运动状态进行更新，包括但不限于步骤B1-B3：
步骤B1：若当前输入的数据是激光雷达点云数据，则获取激光雷达点云数据的面特征点和边缘特征点。
步骤B2：采用所述面特征点、边缘特征点以及惯性测量数据对激光雷达点云数据进行运动畸变校正，确定校正后的激光雷达点云数据。
步骤B3：采用校正后的激光雷达点云数据对机器人系统运动状态进行更新，并将校正后的激光雷达点云数据的面特征点和边缘特征点转换至全局坐标系中，对初始点云地图进行更新。
其中，参加图5，若当前输入数据是激光雷达点云数据，为Tn帧激光点云去除畸变，提取激光雷达点云数据的面特征点和边缘特征点，并利用惯性测量数据对Tn帧激光点云进行运动畸变校正，利用校正后的激光雷达点云数据对系统进行卡尔曼滤波(ESIKF)状态更新，同时将特征点转换到全局坐标系下，更新初始点云地图，为初始点云地图添加新的点。
S240、若当前输入的数据是图像数据，则对图像数据中无颜色点云进行跟踪，以对无颜色点云添加颜色信息。
其中，若当前输入数据是图像数据，则确定所述图像数据中是否存在无颜色点云；若存在无颜色点云，则对无颜色点云进行跟踪，以对无颜色点云添加颜色信息。所述跟踪可以是指在图像序列或视频里对其中的特征点进行追踪的过程；本发明实施例中采用光流法对图像数据进行跟踪，确定无颜色点云的跟踪结果，为无颜色点云添加颜色信息。
可选的，本发明实施例中是对图像数据中的点云进行跟踪，为点云添加RGB颜色信息，构建单帧彩色点云地图；将单帧彩色点云地图进行重构建，以确定整个彩色的点云地图。
作为一种可选的但非限定性的实现方式，所述若当前输入的数据是图像数据，则对图像数据中无颜色点云进行跟踪，以对无颜色点云添加颜色信息，包括但不限于步骤C1-C2：
步骤C1：若当前输入的数据是图像数据，获取图像数据中的无颜色点云并将所述无颜色点云作为初始跟踪点。
步骤C2：对图像数据中无颜色点云进行跟踪确定无颜色点云的跟踪结果颜色信息，并采用跟踪结果颜色信息对无颜色点云添加颜色信息。
其中，若当前输入数据是图像数据，则将初始点云地图中无颜色信息的点云投影到图像中作为初始跟踪点，并利用光流法对图像数据进行跟踪；以初始跟踪点的重投影误差作为观测值，进行ESIKF状态更新，并利用初始跟踪点的光度误差再次进行ESIKF状态更新，同时更新点云地图。记录无颜色点云投影到图像中对应点跟踪结果的颜色信息，为初始点云地图中相应的点添加颜色信息。
作为一种可选的但非限定性的实现方式，所述对图像数据中无颜色点云进行跟踪确定无颜色点云的跟踪结果颜色信息，并采用跟踪结果颜色信息对无颜色点云添加颜色信息，包括但不限于步骤D1-D3：
步骤D1：采用光流法对图像数据进行跟踪，以初始跟踪点的重投影误差作为观测值，进行机器人系统状态更新。
步骤D2：采用初始跟踪点的光度误差再次进行机器人系统状态更新，同时更新初始点云地图。
步骤D3：获取无颜色点云的跟踪结果颜色信息，采用跟踪结果颜色信息对无颜色点云添加颜色信息。
其中，重投影误差可以是指假设地图点P＝{P1,P2,…,Pn}在第Ik-1帧图像上的投影为利用光流法跟踪这些地图点在第Ik帧图像上的坐标为投影误差表示为
其中，表示系统当前的运动状态，/>表示地图点Pi在第Ik帧图像上的投影坐标。ep的主要来源包括光流像素跟踪误差以及Pi点的位置误差。通过对ep各个元素泰勒展开求解重投影误差最小值所对应的运动状态估计值/>
光度误差可以是指假设地图点Pi在全局地图中的颜色为ci，Pi在第Ik帧图像上的投影坐标颜色为γi，则Pi的光度误差为通过对eo各个元素进行泰勒展开，得到eo最小值所对应的运动状态估计值，进一步优化系统状态值/>得到的/>可用于下一帧激光点云或图像数据的IMU预积分起点。
在本发明实施例的一种可选方案中，对无颜色点云添加颜色信息，能够使得构建的点云地图具体丰富的颜色细节信息。
S250、将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。
作为一种可选的但非限定性的实现方式，所述将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图，包括但不限于步骤E1-E4：
步骤E1：将校正后的激光雷达点云数据以及惯性测量数据进行时间同步，对机器人系统的运动状态进行更新，得到第一点云地图。
步骤E2：依据校正后的激光雷达点云数据的面特征点和边缘特征点，对初始点云地图进行更新得到第二点云地图。
步骤E3：对初始点云地图中无颜色点云添加颜色信息得到第三点云地图。
步骤E4：将所述第一点云地图、第二点云地图以及第三点云地图进行时间同步，构建多传感器融合的点云地图。
其中，参见图6，在对多传感器获取的激光雷达点云数据、图像数据以及惯性测量数据经过数据处理后，得到更新后的点云地图；将多个更新后的点云地图进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。
本发明实施例提供了一种多传感器融合的点云地图构建方法，通过多传感器获取机器人系统在初始点云地图下的激光雷达点云数据、图像数据以及惯性测量数据；若当前输入的数据是惯性测量数据，则采用惯性测量数据对机器人系统的运动状态进行预测；若当前输入的数据是激光雷达点云数据，则采用惯性测量数据对激光雷达点云数据进行运动畸变校正，并采用校正后的激光雷达点云数据对机器人系统运动状态进行更新；若当前输入的数据是图像数据，则对图像数据中无颜色点云进行跟踪，以对无颜色点云添加颜色信息；将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。采用本发明实施例的技术方案，对不同传感器下获取的数据分别进行数据处理，对机器人系统的运动状态以及初始点云地图进行更新；将更新后的初始点云地图进行时间同步，融合构建多传感器融合的点云地图。激光点云、图像和IMU的紧耦合SLAM融合方案，以实现稳定且准确的运动状态估计；本发明实施例可适用于开阔的室外环境，且深度信息更加准确；还可针对跨越室内外的复杂场景，实时构建高精度的稠密彩色点云地图。
图7是本发明实施例中提供的一种多传感器融合的点云地图构建装置的结构示意图，本实施例的技术方案可适用于在未知环境下对机器人运动状态进行估计以及通过多传感器融合构建点云地图的情况，该装置可由软件和/或硬件实现，并一般集成在任何具有网络通信功能的电子设备上，该电子设备包括但不限于：服务器、电脑、个人数字助理等设备。如图7所示，本实施例中提供的多传感器融合的点云地图构建装置，可包括：数据获取模块710、数据处理模块720以及点云地图构建模块730；其中，
数据获取模块710，用于通过多传感器获取机器人系统在当前时刻的激光雷达点云数据、图像数据以及惯性测量数据；其中，多传感器包括激光雷达、图像采集设备以及惯性测量单元；
数据处理模块720，用于分别对激光雷达点云数据、图像数据以及惯性测量数据进行数据处理，确定在不同传感器下机器人系统的运动状态以及全局环境信息；
点云地图构建模块730，用于将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。
在上述实施例的基础上，可选的，所述数据获取模块，包括：
通过激光雷达获取机器人系统在初始点云地图下的激光雷达点云数据；所述激光雷达点云数据包括机器人系统周围环境的深度信息；
通过图像采集设备获取机器人系统在初始点云地图下的图像数据；所述图像数据包括机器人系统周围环境的颜色和纹理信息；
通过惯性测量单元获取机器人系统在初始点云地图下的惯性测量数据；其中，所述惯性测量数据用于对机器人系统的运动状态进行估计以及对机器人系统的运动估计误差进行补偿；惯性测量数据包括机器人系统的三轴角速度和加速度信息。
在上述实施例的基础上，可选的，所述数据处理模块，包括：
若当前输入的数据是惯性测量数据，则采用惯性测量数据对机器人系统的运动状态进行预测；
若当前输入的数据是激光雷达点云数据，则采用惯性测量数据对激光雷达点云数据进行运动畸变校正，并采用校正后的激光雷达点云数据对机器人系统运动状态进行更新；
若当前输入的数据是图像数据，则对图像数据中无颜色点云进行跟踪，以对无颜色点云添加颜色信息。
在上述实施例的基础上，可选的，所述数据处理模块，还包括：
若当前输入的数据是激光雷达点云数据，则获取激光雷达点云数据的面特征点和边缘特征点；
采用所述面特征点、边缘特征点以及惯性测量数据对激光雷达点云数据进行运动畸变校正，确定校正后的激光雷达点云数据；
采用校正后的激光雷达点云数据对机器人系统运动状态进行更新，并将校正后的激光雷达点云数据的面特征点和边缘特征点转换至全局坐标系中，对初始点云地图进行更新。
在上述实施例的基础上，可选的，所述数据处理模块，还包括：
若当前输入的数据是图像数据，获取图像数据中的无颜色点云并将所述无颜色点云作为初始跟踪点；
对图像数据中无颜色点云进行跟踪确定无颜色点云的跟踪结果颜色信息，并采用跟踪结果颜色信息对无颜色点云添加颜色信息。
在上述实施例的基础上，可选的，所述数据处理模块，还包括：
采用光流法对图像数据进行跟踪，以初始跟踪点的重投影误差作为观测值，进行机器人系统状态更新；
采用初始跟踪点的光度误差再次进行机器人系统状态更新，同时更新初始点云地图；
获取无颜色点云的跟踪结果颜色信息，采用跟踪结果颜色信息对无颜色点云添加颜色信息。
在上述实施例的基础上，可选的，所述点云地图构建模块，包括：
将校正后的激光雷达点云数据以及惯性测量数据进行时间同步，对机器人系统的运动状态进行更新，得到第一点云地图；
依据校正后的激光雷达点云数据的面特征点和边缘特征点，对初始点云地图进行更新得到第二点云地图；
对初始点云地图中无颜色点云添加颜色信息得到第三点云地图；
将所述第一点云地图、第二点云地图以及第三点云地图进行时间同步，构建多传感器融合的点云地图。
本发明实施例中所提供的多传感器融合的点云地图构建装置可执行上述本发明任意实施例中所提供的多传感器融合的点云地图构建方法，具备执行该多传感器融合的点云地图构建方法相应的功能和有益效果，详细过程参见前述实施例中多传感器融合的点云地图构建方法的相关操作。
图8是本发明实施例中提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如多传感器融合的点云地图构建方法。
在一些实施例中，多传感器融合的点云地图构建方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的多传感器融合的点云地图构建方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行多传感器融合的点云地图构建方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种多传感器融合的点云地图构建方法，其特征在于，所述方法包括：
通过多传感器获取机器人系统在初始点云地图下的激光雷达点云数据、图像数据以及惯性测量数据；其中，多传感器包括激光雷达、图像采集设备以及惯性测量单元；
分别对激光雷达点云数据、图像数据以及惯性测量数据进行数据处理，确定在不同传感器下机器人系统的运动状态以及全局环境信息；
将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。
2.根据权利要求1所述的方法，其特征在于，所述通过多传感器获取机器人系统在初始点云地图下的激光雷达点云数据、图像数据以及惯性测量数据，包括：
通过激光雷达获取机器人系统在初始点云地图下的激光雷达点云数据；所述激光雷达点云数据包括机器人系统周围环境的深度信息；
通过图像采集设备获取机器人系统在初始点云地图下的图像数据；所述图像数据包括机器人系统周围环境的颜色和纹理信息；
通过惯性测量单元获取机器人系统在初始点云地图下的惯性测量数据；其中，所述惯性测量数据用于对机器人系统的运动状态进行估计以及对机器人系统的运动估计误差进行补偿；惯性测量数据包括机器人系统的三轴角速度和加速度信息。
3.根据权利要求1所述的方法，其特征在于，所述分别对激光雷达点云数据、图像数据以及惯性测量数据进行数据处理，确定在不同传感器下机器人系统的运动状态以及全局环境信息，包括：
若当前输入的数据是惯性测量数据，则采用惯性测量数据对机器人系统的运动状态进行预测；
若当前输入的数据是激光雷达点云数据，则采用惯性测量数据对激光雷达点云数据进行运动畸变校正，并采用校正后的激光雷达点云数据对机器人系统运动状态进行更新；
若当前输入的数据是图像数据，则对图像数据中无颜色点云进行跟踪，以对无颜色点云添加颜色信息。
4.根据权利要求3所述的方法，其特征在于，所述若当前输入的数据是激光雷达点云数据，则采用惯性测量数据对激光雷达点云数据进行运动畸变校正，并采用校正后的激光雷达点云数据对机器人系统运动状态进行更新，包括：
若当前输入的数据是激光雷达点云数据，则获取激光雷达点云数据的面特征点和边缘特征点；
采用所述面特征点、边缘特征点以及惯性测量数据对激光雷达点云数据进行运动畸变校正，确定校正后的激光雷达点云数据；
采用校正后的激光雷达点云数据对机器人系统运动状态进行更新，并将校正后的激光雷达点云数据的面特征点和边缘特征点转换至全局坐标系中，对初始点云地图进行更新。
5.根据权利要求3所述的方法，其特征在于，所述若当前输入的数据是图像数据，则对图像数据中无颜色点云进行跟踪，以对无颜色点云添加颜色信息，包括：
若当前输入的数据是图像数据，获取图像数据中的无颜色点云并将所述无颜色点云作为初始跟踪点；
对图像数据中无颜色点云进行跟踪确定无颜色点云的跟踪结果颜色信息，并采用跟踪结果颜色信息对无颜色点云添加颜色信息。
6.根据权利要求5所述的方法，其特征在于，所述对图像数据中无颜色点云进行跟踪确定无颜色点云的跟踪结果颜色信息，并采用跟踪结果颜色信息对无颜色点云添加颜色信息，包括：
采用光流法对图像数据进行跟踪，以初始跟踪点的重投影误差作为观测值，进行机器人系统状态更新；
采用初始跟踪点的光度误差再次进行机器人系统状态更新，同时更新初始点云地图；
获取无颜色点云的跟踪结果颜色信息，采用跟踪结果颜色信息对无颜色点云添加颜色信息。
7.根据权利要求4所述的方法，其特征在于，所述将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图，包括：
将校正后的激光雷达点云数据以及惯性测量数据进行时间同步，对机器人系统的运动状态进行更新，得到第一点云地图；
依据校正后的激光雷达点云数据的面特征点和边缘特征点，对初始点云地图进行更新得到第二点云地图；
对初始点云地图中无颜色点云添加颜色信息得到第三点云地图；
将所述第一点云地图、第二点云地图以及第三点云地图进行时间同步，构建多传感器融合的点云地图。
8.一种多传感器融合的点云地图构建装置，其特征在于，所述装置包括：
数据获取模块，用于通过多传感器获取机器人系统在当前时刻的激光雷达点云数据、图像数据以及惯性测量数据；其中，多传感器包括激光雷达、图像采集设备以及惯性测量单元；
数据处理模块，用于分别对激光雷达点云数据、图像数据以及惯性测量数据进行数据处理，确定在不同传感器下机器人系统的运动状态以及全局环境信息；
点云地图构建模块，用于将不同传感器下机器人系统的运动状态以及全局环境信息进行时间同步，对机器人系统的运动状态进行更新并构建多传感器融合的点云地图。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-6中任一所述的多传感器融合的点云地图构建方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的多传感器融合的点云地图构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311218323.3A CN117232499A (zh) | 2023-09-20 | 2023-09-20 | 多传感器融合的点云地图构建方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311218323.3A CN117232499A (zh) | 2023-09-20 | 2023-09-20 | 多传感器融合的点云地图构建方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117232499A true CN117232499A (zh) | 2023-12-15 |
Family
ID=89087574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311218323.3A Pending CN117232499A (zh) | 2023-09-20 | 2023-09-20 | 多传感器融合的点云地图构建方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117232499A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611762A (zh) * | 2024-01-23 | 2024-02-27 | 常熟理工学院 | 一种多层级地图构建方法、系统及电子设备 |
| CN117906598A (zh) * | 2024-03-19 | 2024-04-19 | 深圳市其域创新科技有限公司 | 无人机设备的定位方法、装置、计算机设备和存储介质 |
-
2023
- 2023-09-20 CN CN202311218323.3A patent/CN117232499A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611762A (zh) * | 2024-01-23 | 2024-02-27 | 常熟理工学院 | 一种多层级地图构建方法、系统及电子设备 |
| CN117611762B (zh) * | 2024-01-23 | 2024-04-30 | 常熟理工学院 | 一种多层级地图构建方法、系统及电子设备 |
| CN117906598A (zh) * | 2024-03-19 | 2024-04-19 | 深圳市其域创新科技有限公司 | 无人机设备的定位方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117232499A (zh) | 多传感器融合的点云地图构建方法、装置、设备及介质 | |
| CN110660098B (zh) | 基于单目视觉的定位方法和装置 | |
| CN114018274B (zh) | 车辆定位方法、装置及电子设备 | |
| CN111462029B (zh) | 视觉点云与高精地图融合方法、装置和电子设备 | |
| CN114494388B (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
| CN114013449B (zh) | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 | |
| CN114494629A (zh) | 一种三维地图的构建方法、装置、设备及存储介质 | |
| CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
| CN115457152A (zh) | 外参标定方法、装置、电子设备及存储介质 | |
| CN113483774A (zh) | 导航方法、装置、电子设备及可读存储介质 | |
| CN112652062B (zh) | 一种点云地图构建方法、装置、设备和存储介质 | |
| CN113932796A (zh) | 高精地图车道线生成方法、装置和电子设备 | |
| CN113436233A (zh) | 自动驾驶车辆的配准方法、装置、电子设备和车辆 | |
| CN115900697B (zh) | 对象运动轨迹信息处理方法、电子设备以及自动驾驶车辆 | |
| CN115239899B (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
| CN115790621A (zh) | 高精地图更新方法、装置及电子设备 | |
| CN114299192B (zh) | 定位建图的方法、装置、设备和介质 | |
| CN114170300A (zh) | 高精地图点云位姿优化方法、装置、设备及介质 | |
| CN115147561A (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
| CN115100296A (zh) | 一种光伏组件故障定位方法、装置、设备及存储介质 | |
| CN117058430B (zh) | 用于视场匹配的方法、装置、电子设备和存储介质 | |
| CN115578432B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN117351450B (zh) | 一种单目3d检测方法、装置、电子设备及存储介质 | |
| CN116448105B (zh) | 位姿更新方法、装置、电子设备和存储介质 | |
| CN114219907B (zh) | 三维地图生成方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |