CN118031932A - 一种远程驾驶用多机协同建图方法及系统 - Google Patents

一种远程驾驶用多机协同建图方法及系统 Download PDF

Info

Publication number
CN118031932A
CN118031932A CN202410074551.6A CN202410074551A CN118031932A CN 118031932 A CN118031932 A CN 118031932A CN 202410074551 A CN202410074551 A CN 202410074551A CN 118031932 A CN118031932 A CN 118031932A
Authority
CN
China
Prior art keywords
mobile platform
mobile
remote driving
platform
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410074551.6A
Other languages
English (en)
Inventor
王明江
孟凡健
黄祾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Xugong Construction Machinery Research Institute Co ltd
Jiangsu Sichuang Industrial Design And Research Institute Co ltd
Original Assignee
Jiangsu Xugong Construction Machinery Research Institute Co ltd
Jiangsu Sichuang Industrial Design And Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Xugong Construction Machinery Research Institute Co ltd, Jiangsu Sichuang Industrial Design And Research Institute Co ltd filed Critical Jiangsu Xugong Construction Machinery Research Institute Co ltd
Priority to CN202410074551.6A priority Critical patent/CN118031932A/zh
Publication of CN118031932A publication Critical patent/CN118031932A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种远程驾驶用多机协同建图方法及系统，所述方法基于多个移动平台实现，各所述移动平台上均配置有多个传感器，所述方法包括：对所有移动平台上的传感器进行同步授时；确定能够正常获取来自各移动平台的传感器数据后，启动多机建图程序；控制各移动平台在待建图的整个区域内移动，并实时获取来自各移动平台的传感器数据；根据所获取的各移动平台的传感器数据进行实时地图构建；待各移动平台完成移动后，控制移动平台返回起点位置，得到待建图区域的地图。本发明通过多个移动平台上所配置的传感器采集周围环境的传感器数据，可快速、精准地对周围环境进行地图构建，提高远程驾驶的安全性。

Description

一种远程驾驶用多机协同建图方法及系统
技术领域
本发明属于同时定位与建图技术领域，具体涉及一种远程驾驶用多机协同建图方法及系统。
背景技术
同时定位与建图(Simultaneous Localization and Mapping，SLAM)是一项关键的技术，通过机器人自身搭载的传感器，能够获取周围环境的信息并估计自身的位置和方向，从而实现地图的构建，这一技术为机器人在未知环境中实现自主定位和导航提供了重要支持，目前，单一机器人SLAM技术已经取得了相当的鲁棒性，而且在多个领域得到了广泛的应用。
然而，在应对大规模环境的地图构建时，单一机器人SLAM技术面临一些挑战，单机SLAM效率低，估计时间增长，估计精度下降，往往难以达到良好的效果。同时，随着5G技术的发展，远程驾驶成为一种常用的工作手段，但往往只能依靠图像进行操控，手段单一，无法感知工作环境，安全性不高。
综上所述，亟需一种远程驾驶用多机协同建图方法及系统。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种远程驾驶用多机协同建图方法及系统，通过多个移动平台上所配置的传感器采集周围环境的传感器数据，可快速、精准地对周围环境进行地图构建，提高远程驾驶的安全性。
本发明提供了如下的技术方案：
第一方面，提供一种远程驾驶用多机协同建图方法，所述方法基于多个移动平台实现，各所述移动平台上均配置有多个传感器，所述方法包括：
对所有移动平台上的传感器进行同步授时；
确定能够正常获取来自各移动平台的传感器数据后，启动多机建图程序；
控制各移动平台在待建图的整个区域内移动，并实时获取来自各移动平台的传感器数据；
根据所获取的各移动平台的传感器数据进行实时地图构建；
待各移动平台完成移动后，控制移动平台返回起点位置，得到待建图区域的地图。
进一步的，对所有移动平台上的传感器进行同步授时前对各移动平台的各传感器配置IP地址，包括：
将每个移动平台上的传感器IP设置为同一网段；
将不同移动平台上的同一传感器IP设置为相同。
进一步的，所述传感器数据包括周围环境的点云数据、移动平台的轮速信息、移动平台的姿态信息以及周围环境的图像数据。
进一步的，在确定能够正常获取来自各移动平台的传感器数据后，对各移动平台的传感器进行标定，标定完成后启动多机建图程序。
进一步的，所述根据所获取的各移动平台的传感器数据进行实时地图构建的方法包括：
获取各移动平台回传的回环候选对对应的两个关键位姿图或一个关键位姿图；
对于各回环候选对，将两个关键位姿图或一个关键位姿图中的两个候选节点用边连接，所述边代表候选对的精确相对位姿变换，实现多个关键位姿图的聚合，得到完整位姿图；
使用GNC算法对所述完整位姿图进行优化，通过多次迭代调整所述完整位姿图中各个位姿节点的位置，去除噪声和异常值，得到多移动平台移动轨迹和全局点云地图。
第二方面，提供一种远程驾驶用多机协同建图系统，包括远程遥控平台和多个移动平台，各所述移动平台上均配置有多个传感器，所述远程遥控平台用于执行第一方面所述的远程驾驶用多机协同建图方法。
进一步的，所述传感器包括激光雷达、轮速计、IMU和RGB相机；
所述激光雷达用于获取周围环境的点云数据；
所述轮速计用于获取移动平台的轮速信息；
所述IMU用于获取移动平台的姿态信息，包括车身的方向角、俯仰角、横滚角；
所述RGB相机用于获取周围环境的图像数据，包括车前方图像、车后方图像、车左侧图像、车右侧图像。
进一步的，所述移动平台上还配置有车载电台、CAN-网络转换器(CANET)和计算主机；
所述车载电台用于多个所述移动平台之间的通讯；
所述CAN-网络转换器用于获取CAN数据；
所述计算主机用于对所述激光雷达、轮速计、IMU和RGB相机获取到的传感器数据进行计算处理，并将处理后的数据发送至远程遥控平台。
进一步的，所述计算主机包括两路网口，一路用于内网数据传输，另一路用于外网数据传输；
所述激光雷达和CAN-网络转换器设置为静态IP且与计算主机的内网为同一网段，所述计算主机的外网设置为静态IP且与车载电台为同一网段。
进一步的，所述系统还包括交换机，所述计算主机、激光雷达、CAN-网络转换器均与交换机连接，用于数据交换及传输。
与现有技术相比，本发明的有益效果是：
(1)本发明通过对所有移动平台上的传感器进行同步授时，在确定能够正常获取来自各移动平台的传感器数据后，启动多机建图程序，通过控制各移动平台在待建图的整个区域内移动，并实时获取来自各移动平台的传感器数据，再根据所获取的各移动平台的传感器数据进行实时地图构建，待各移动平台完成移动后，控制移动平台返回起点位置，最终得到待建图区域的地图；本发明通过多个移动平台上所配置的传感器采集周围环境的传感器数据，可快速、精准地对周围环境进行地图构建，提高远程驾驶的安全性；
(2)本发明提供的远程驾驶用多机协同建图系统可快速安装部署在不同的远程驾驶车辆上，方便安装使用。
附图说明
图1是本发明实施例中远程驾驶用多机协同建图方法的流程图；
图2是本发明实施例中远程驾驶用多机协同建图系统的结构示意图；
图3是本发明实施例中远程驾驶用多机协同建图系统的工作原理示意图；
图中标记为：1、移动平台；2、轮速计；3、CANET；4、交换机；5、车载电台；6、激光雷达；7、IMU；8、计算主机；9、RGB相机；10、远程遥控平台。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本实施例提供一种远程驾驶用多机协同建图方法，所述方法基于远程遥控平台和多个移动平台实现，各所述移动平台上均配置有车载电台、计算主机和多个传感器。本实施例中，各移动平台上配置的传感器为激光雷达、轮速计、IMU和RGB相机。计算主机、激光雷达均与交换机连接。
基于前述设计，如图1所示，本实施例提供的远程驾驶用多机协同建图方法，步骤如下：
步骤S1、启动设备。
将车载电台、计算主机和传感器等设备安装在移动平台上，按照接线顺序将每个设备有机地连接起来，启动电源后，确定每个设备的通电情况。
步骤S2、配置各设备的IP地址。
将远程遥控平台的IP和每个移动平台上的车载电台的IP设置为同一网段，例如：192.168.2.X，其中，每个车载电台的“X”不同；将每个移动平台连接到交换机上的设备IP设置为同一网段，但与车载电台网段不同，例如：192.168.1.X，每个设备的“X”不同；不同移动平台上的同一传感器IP相同，例如：移动平台A、移动平台B和移动平台C上的激光雷达的IP均为192.168.1.200。
步骤S3、进行多机授时同步。
为了使远程遥控平台和多个移动平台上的传感器数据时间同步，需进行多机授时同步。具体的，设置远程遥控平台为主节点，多个移动平台为从节点，在远程遥控平台中启动ptp时间服务端，待启动完成后，再在其他从节点的计算主机中启动ptp时间客户端，对所有移动平台上的传感器进行同步授时服务。
步骤S4、启动多传感器的驱动，确定能够正常获取来自各移动平台的传感器数据。
启动各移动平台上的激光雷达、IMU、RGB相机和轮速计，所有设备工作正常的情况下，执行下一步骤。
步骤S5、多传感器标定。
对各移动平台上的RGB相机进行内参标定，对RGB相机和激光雷达进行外参标定，对激光雷达和IMU进行外参标定，标定结束后，将各参数保存至各移动平台的计算主机中。
步骤S6、启动多机建图程序。
步骤S7、远程遥控平台控制多个移动平台在待建图区域内进行移动，移动平台的移动路径覆盖整个区域；并实时获取来自各移动平台的传感器数据。传感器数据包括周围环境的点云数据、移动平台的轮速信息、移动平台的姿态信息以及周围环境的图像数据。
步骤S8、实时建图。
S8.1、获取各移动平台回传的回环候选对对应的两个关键位姿图或一个关键位姿图。
S8.2、对于各回环候选对，将两个关键位姿图或一个关键位姿图中的两个候选节点用边连接，所述边代表候选对的精确相对位姿变换，实现多个关键位姿图的聚合，得到完整位姿图。
S8.3、使用GNC算法对所述完整位姿图进行优化，通过多次迭代调整所述完整位姿图中各个位姿节点的位置，去除噪声和异常值，得到多移动平台移动轨迹和全局点云地图。
步骤S9、输出环境地图。
待各移动平台完成移动后，控制移动平台返回起点位置，输出待建图区域的地图，结束多机建图任务。
实施例2
如图2和图3所示，本实施例提供一种远程驾驶用多机协同建图系统，包括远程遥控平台10和多个移动平台1；各所述移动平台1上均配置有车载电台5、CANET 3、计算主机8、交换机4、供电设备和多个传感器，所述传感器包括激光雷达6、轮速计2、IMU 7和RGB相机9。
车载电台5用于多个所述移动平台1之间的通讯。
激光雷达6用于获取周围环境的点云数据。
IMU 7用于获取移动平台1的姿态信息，包括车身的方向角、俯仰角、横滚角。
激光雷达6安装在移动平台1的顶部前方，离地高度为50厘米，激光雷达6的x轴平行于移动平台1的运动方向，与前进方向一致，用于获取移动平台1前方的点云数据。IMU 7安装在激光雷达6的右侧，二者间距1厘米，便于与激光雷达6进行外参标定。
CANET 3用于获取CAN数据。轮速计2用于获取移动平台1的轮速信息。轮速计2安装于移动平台1的底盘中，与CANET 3的CAN口相连接，利用CANET 3获取轮速计2的数据。
RGB相机9用于获取周围环境的图像数据，包括车前方图像、车后方图像、车左侧图像、车右侧图像。
计算主机8用于对激光雷达6、轮速计2、IMU 7和RGB相机9获取到的传感器数据进行计算处理，并将处理后的数据发送至远程遥控平台10。计算主机8包括但不限于笔记本电脑、树莓派、jetsonNX等计算设备。
计算主机8包括两路网口，一路连接到交换机4上，用于内网数据传输，另一路连接到车载电台5上，用于外网数据传输。激光雷达6和CANET 3设置为静态IP且与计算主机8的内网为同一网段，计算主机8的外网设置为静态IP且与车载电台5为同一网段。远程遥控平台10与多个所述移动平台1上的车载电台5均设置为静态IP，且为同一网段，但与计算主机8的内网为不同网段。
计算主机8、激光雷达6、CANET 3均与交换机4连接，便于数据交换及传输。
计算主机8、激光雷达6、交换机4、CANET 3、车载电台5均与供电设备连接；本实施例的供电设备由插排和移动电源组成，移动电源用于输出220V交流电，由于移动电源上的接口数量有限，因此通过连接插排来拓展接口，从而给其他设备供电；所述IMU 7和RGB相机9与计算主机8通过USB口相连，无需单独供电。
远程遥控平台10用于执行实施例1所述的远程驾驶用多机协同建图方法，以获得待建图区域的地图。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种远程驾驶用多机协同建图方法，其特征在于，所述方法基于多个移动平台实现，各所述移动平台上均配置有多个传感器，所述方法包括：
对所有移动平台上的传感器进行同步授时；
确定能够正常获取来自各移动平台的传感器数据后，启动多机建图程序；
控制各移动平台在待建图的整个区域内移动，并实时获取来自各移动平台的传感器数据；
根据所获取的各移动平台的传感器数据进行实时地图构建；
待各移动平台完成移动后，控制移动平台返回起点位置，得到待建图区域的地图。
2.根据权利要求1所述的远程驾驶用多机协同建图方法，其特征在于，对所有移动平台上的传感器进行同步授时前对各移动平台的各传感器配置IP地址，包括：
将每个移动平台上的传感器IP设置为同一网段；
将不同移动平台上的同一传感器IP设置为相同。
3.根据权利要求1所述的远程驾驶用多机协同建图方法，其特征在于，所述传感器数据包括周围环境的点云数据、移动平台的轮速信息、移动平台的姿态信息以及周围环境的图像数据。
4.根据权利要求1所述的远程驾驶用多机协同建图方法，其特征在于，在确定能够正常获取来自各移动平台的传感器数据后，对各移动平台的传感器进行标定，标定完成后启动多机建图程序。
5.根据权利要求1所述的远程驾驶用多机协同建图方法，其特征在于，所述根据所获取的各移动平台的传感器数据进行实时地图构建的方法包括：
获取各移动平台回传的回环候选对对应的两个关键位姿图或一个关键位姿图；
对于各回环候选对，将两个关键位姿图或一个关键位姿图中的两个候选节点用边连接，所述边代表候选对的精确相对位姿变换，实现多个关键位姿图的聚合，得到完整位姿图；
使用GNC算法对所述完整位姿图进行优化，通过多次迭代调整所述完整位姿图中各个位姿节点的位置，去除噪声和异常值，得到多移动平台移动轨迹和全局点云地图。
6.一种远程驾驶用多机协同建图系统，其特征在于，包括远程遥控平台和多个移动平台，各所述移动平台上均配置有多个传感器，所述远程遥控平台用于执行权利要求1～5任一项所述的远程驾驶用多机协同建图方法。
7.根据权利要求6所述的远程驾驶用多机协同建图系统，其特征在于，所述传感器包括激光雷达、轮速计、IMU和RGB相机；
所述激光雷达用于获取周围环境的点云数据；
所述轮速计用于获取移动平台的轮速信息；
所述IMU用于获取移动平台的姿态信息，包括车身的方向角、俯仰角、横滚角；
所述RGB相机用于获取周围环境的图像数据，包括车前方图像、车后方图像、车左侧图像、车右侧图像。
8.根据权利要求7所述的远程驾驶用多机协同建图系统，其特征在于，所述移动平台上还配置有车载电台、CAN-网络转换器和计算主机；
所述车载电台用于多个所述移动平台之间的通讯；
所述CAN-网络转换器用于获取CAN数据；
所述计算主机用于对所述激光雷达、轮速计、IMU和RGB相机获取到的传感器数据进行计算处理，并将处理后的数据发送至远程遥控平台。
9.根据权利要求8所述的远程驾驶用多机协同建图系统，其特征在于，所述计算主机包括两路网口，一路用于内网数据传输，另一路用于外网数据传输；
所述激光雷达和CAN-网络转换器设置为静态IP且与计算主机的内网为同一网段，所述计算主机的外网设置为静态IP且与车载电台为同一网段。
10.根据权利要求8所述的远程驾驶用多机协同建图系统，其特征在于，所述系统还包括交换机，所述计算主机、激光雷达、CAN-网络转换器均与交换机连接，用于数据交换及传输。
CN202410074551.6A 2024-01-17 2024-01-17 一种远程驾驶用多机协同建图方法及系统 Pending CN118031932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410074551.6A CN118031932A (zh) 2024-01-17 2024-01-17 一种远程驾驶用多机协同建图方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410074551.6A CN118031932A (zh) 2024-01-17 2024-01-17 一种远程驾驶用多机协同建图方法及系统

Publications (1)

Publication Number Publication Date
CN118031932A true CN118031932A (zh) 2024-05-14

Family

ID=90996033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410074551.6A Pending CN118031932A (zh) 2024-01-17 2024-01-17 一种远程驾驶用多机协同建图方法及系统

Country Status (1)

Country Link
CN (1) CN118031932A (zh)

Similar Documents

Publication Publication Date Title
CN109901139B (zh) 激光雷达标定方法、装置、设备和存储介质
CN108073170B (zh) 用于自主车辆的自动化协同驾驶控制
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
CN106919171B (zh) 一种机器人室内定位导航系统及方法
CN111123949B (zh) 机器人的避障方法、装置、机器人及存储介质
CN111413721B (zh) 车辆定位的方法、装置、控制器、智能车和系统
CN109887057A (zh) 生成高精度地图的方法和装置
Deng et al. Indoor multi-camera-based testbed for 3-D tracking and control of UAVs
Lin et al. A decentralized framework for simultaneous calibration, localization and mapping with multiple LiDARs
CN110166571A (zh) 一种基于移动机器人的自动跟随方法和装置
AU2018282302A1 (en) Integrated sensor calibration in natural scenes
CN110178048A (zh) 交通工具环境地图生成和更新的方法和系统
WO2019047641A1 (zh) 车载摄像头的姿态误差估计方法和装置
CN110926485B (zh) 一种基于直线特征的移动机器人定位方法及系统
CN114111775B (zh) 一种多传感器融合定位方法、装置、存储介质及电子设备
CN112689234B (zh) 室内车辆定位方法、装置、计算机设备和存储介质
CN114264301B (zh) 车载多传感器融合定位方法、装置、芯片及终端
CN110969643B (zh) 地面目标移动轨迹的星上自主预测方法
CN113124880B (zh) 一种基于两种传感器数据融合的建图及定位方法、装置
CN114485619A (zh) 基于空地协同的多机器人定位和导航方法及装置
US11514588B1 (en) Object localization for mapping applications using geometric computer vision techniques
CN113093759A (zh) 基于多传感器信息融合的机器人编队构造方法及系统
CN115790571A (zh) 基于异构无人系统相互观测的同时定位与地图构建方法
Liu et al. Semalign: Annotation-free camera-lidar calibration with semantic alignment loss
CN114114368A (zh) 车辆定位方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination