CN108776474A - 集成高精度导航定位与深度学习的机器人嵌入式计算终端 - Google Patents
集成高精度导航定位与深度学习的机器人嵌入式计算终端 Download PDFInfo
- Publication number
- CN108776474A CN108776474A CN201810508465.6A CN201810508465A CN108776474A CN 108776474 A CN108776474 A CN 108776474A CN 201810508465 A CN201810508465 A CN 201810508465A CN 108776474 A CN108776474 A CN 108776474A
- Authority
- CN
- China
- Prior art keywords
- module
- information
- semantic
- robot
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims 1
- 230000037431 insertion Effects 0.000 claims 1
- 230000008447 perception Effects 0.000 abstract description 5
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 10
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010008025 Cerebellar ataxia Diseases 0.000 description 1
- 206010008072 Cerebellar syndrome Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明是一种集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：包括集成设置的核心处理单元Jetson芯片、FPGA芯片、嵌入式ARM模块和多种传感器，所述传感器包括GNSS卫星导航模块、IMU惯性导航模块、激光雷达和摄像头，核心处理单元Jetson芯片连接摄像头和激光雷达，FPGA芯片分别连接GNSS卫星导航模块和IMU惯性导航模块、嵌入式ARM模块；嵌入式ARM模块连接控制机器人的伺服电机。本发明能支持实现实时高精度定位结果的解算，实现机器人的环境感知和任务规划。
Description
技术领域
本发明描述了一种基于高精度北斗定位的高度集成智能机器人开发装置，属于嵌入式机器人开发领域。
背景技术
机器人上的多源传感器信息融合处理是机器人自主感知、精确控制以及任务规划的关键，由于嵌入式平台具有体积小、功耗低和集成程度高等特点，嵌入式平台成为了机器人的主流研发平台。但目前的机器人一般情况下都需要定位、驱动和核心计算三个工控机以完成基本任务，因此现有机器人嵌入式平台普遍存在计算能力不足、硬件集成程度低、缺乏深度学习平台支持、缺乏环境智能感知能力等限制。
发明内容
本发明主要提供一种基于高精度北斗定位的高度集成机器人开发平台，该平台集成程度高，为解决大规模环境下协同精密定位和智能感知问题提供了硬件平台基础。通过高度集成的嵌入式平台为多传感器信息融合和深度学习提供硬件基础，因此相当于仅用一台工控机就可以提供高精度、实时、智能化的自适应动态导航和定位，路径规划，避障和环境智能感知等功能。
本发明所采用的技术方案提供一种集成高精度导航定位与深度学习的机器人嵌入式计算终端，包括集成设置的核心处理单元Jetson芯片、FPGA芯片、嵌入式ARM模块和多种传感器，所述传感器包括GNSS卫星导航模块、IMU惯性导航模块、激光雷达和摄像头，核心处理单元Jetson芯片连接摄像头和激光雷达，FPGA芯片分别连接GNSS卫星导航模块和IMU惯性导航模块、嵌入式ARM模块；嵌入式ARM模块连接控制机器人的伺服电机；
基于集成的GNSS卫星导航模块和IMU惯性导航模块提供连续实时的室外高精度全局定位和路径规划；
结合IMU惯性导航模块、激光雷达和摄像头实现室内情况下的实时定位和路径规划；
通过激光雷达和摄像头实现环境的智能感知，基于摄像头和激光雷达构建带有精确距离信息的语义地图；
将局部规划的控制命令通过嵌入式ARM模块发送给底层驱动，直接精确控制机器人的运动，以完成语义级任务。
而且，所述通过激光雷达和摄像头实现环境的智能感知，基于摄像头和激光雷达构建带有精确距离信息的语义地图，实现方式为基于机器人操作系统ROS，设置以下模块，
传感器驱动模块用于从机器人携带的各传感器中获取数据，根据ROS中的标准数据封装格式将数据封装并发布到相应的主题；上
语义感知模块，用于从摄像头模块获取图像信息，从中提取出环境的语义信息；
视觉激光融合模块，用于实现语义信息和激光雷达的距离信息两者的实时融合，该模块接收语义信息Sematics和雷达信息LaserScan。
语义地图构建模块，用于结合语义点云信息SematicPointCloud、实时的坐标变换关系PoseTransform和里程信息Odometry对机器人同时定位并构建带有距离信息的语义地图。
而且，传感器驱动模块包括坐标转换模块、激光雷达模块、摄像头模块、IMU惯性导航模块，其中激光雷达模块提供机器人运动过程中雷达扫描到的信息LaserScan，摄像头模块提供机器人运动过程中摄像头拍摄到的图像信息Image，IMU惯性导航模块提供机器人运动的里程信息Odometry，坐标转换模块提供系统的坐标变换关系PoseTransform。
而且，语义感知模块包括目标检测模块和语义封装模块,其中目标检测模块基于深度学习中的目标检测算法，检测出图像中的物体类别信息Detections；语义封装模块将目标检测结果投影到雷达扫描平面，根据目标在图片中占据的像素范围计算目标在雷达视野中占据的角度范围，封装成语义信息Sematics，并提供给视觉激光融合模块。
而且，视觉激光融合模块首先对获得的语义信息和雷达消息进行实时匹配，然后将时间匹配的一组语义信息和雷达信息进行融合，得到带有距离信息的语义点云SematicPointCloud，提供给语义地图构建模块构建带有距离信息的语义地图。
而且，语义地图构建模块基于语义点云SematicPointCloud绘制地图，包括局部优化模块、局部地图构建模块、全局优化模块和语义地图绘制模块，局部优化模块根据里程信息Odometry和扫描匹配算法优化语义点云的位姿，得到优化后的点云信息SematicRangeData；局部地图构建模块基于优化后的语义点云信息构建局部地图信息Submap；全局优化模块利用图优化算法消除局部地图构建过程累积的误差，从而得到优化后的位姿信息SubmapPose；语义地图绘制模块根据Submap和SubmapPose绘制带有距离信息的语义地图。
采用本发明所述方法，与现有技术相比，本智能化控制装置集成程度高，接口丰富，
实现了感知控制规划一体化，能提供高精度GNSS全局定位功能，能提供GNSS和IMU组合导航的硬件平台，能通过GPU功能实现深度学习功能，能通过外部接口挂载雷达摄像头等多传感器实现环境智能感知，能提供实时的路径规划和导航，能实时避障，能通过控制接口直接控制伺服电机实现语义级的控制与规划。特别是在该开发平台上基于现有的自适应高精度定位算法，本发明通过挂载的激光和视觉摄像头实现了环境的智能感知，构建带有语义信息的地图，融合了视觉语义丰富和激光雷达测距精度高等优点，克服了视觉中单目测距不准确和激光雷达中点云的语义信息缺乏等缺点。
附图说明
图1为本发明实施例的机器人智能控制装置系统框架图。
图2为本发明实施例的带有距离信息的语义地图绘制系统框图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明设计了一种高精度集成的智能机器人嵌入式装置，提供各类接口用于接入各种传感器设备，实现多源传感器数据的接入。整个设置满足多元信号的采集、处理和输出，并且具备连续的高精度多传感器融合自适应定位和深度学习能力。
本发明实施例提供的一种基于北斗定位的高度集成嵌入式机器人开发装置，具有智能感知控制规划功能，它集成了一个核心处理单元Jetson芯片，FPGA芯片，高精度的GNSS卫星导航模块，六轴的IMU惯性导航模块和STM32嵌入式ARM模块，还可挂载摄像头和激光雷达等其他传感器。核心处理单元Jetson芯片连接摄像头和激光雷达，FPGA芯片连接GNSS卫星导航模块和IMU惯性导航模块、嵌入式ARM模块，嵌入式ARM模块连接控制机器人的伺服电机。
因此本发明属于高度集成的嵌入式机器人集成开发平台，主要实现了基于GNSS/INS的高精度机器人智能控制。它利用FPGA提供系统时钟并进行时钟同步，同时将GNSS卫星导航模块和惯性传感模块的观测量输入到核心处理单元Jetson芯片的ARM中实现实时高精度定位结果的解算，并利用核心处理单元Jetson芯片中的串口和USB接口连接摄像头和激光雷达等传感器，实现机器人的环境感知和任务规划。
具体参见图1，各个模块及其功能介绍如下。
所述高精度GNSS卫星导航模块芯片型号是司南K505，其支持RTK定位功能，因此它具有高精度北斗定位功能。GNSS卫星导航模块具有观测值输出并支持差分定位功能，提供卫星接收数据和地基增强系统接收数据，为机器人提供高精度GNSS定位。
所述核心处理单元型号为Jetson TX1，其包含一个四核ARM Cortex-A57处理器模块和一个256核低功耗GPGPU加速运行模块，GPGPU是通用计算图形处理器，专为图形计算设计，针对浮点运算做出优化，适用于密集的高度并行计算，主要用于图像处理和深度学习。ARM处理器具有较强的处理能力，负责常规运算处理，此处作为主处理器。因此它拥有强大的运算功能，其核心处理单元满足实时深度学习运算，可以实现环境的智能感知和任务规划。本发明主要用它来运行基于深度学习的目标识别和检测算法。同时Jetson自身携带多个外部接口，可以通过USB接口挂载激光雷达、摄像机等多种传感器进行环境的智能感知，构建带有精确距离信息的语义地图，并在此基础上进行任务规划。另外，它的外设还包括网口、高清晰度多媒体接口HDMI、串口硬盘SATA、其他备用的USB口，并安装了风扇来对系统进行降温。具体实施时，还可以根据需要设置SD卡。
所述FPGA型号为Altera Cyclone III，它不仅提供系统时钟，而且能进行时钟同步，因此完成了GNSS卫星导航模块芯片和IMU惯性导航模块芯片中量测数据的数据读取，并在此基础上进行系统的任务调度。具体实施时，FPGA主要用于提供系统时钟并进行时钟同步，通过时延触发读取GNSS和IMU中的输出的量测数据，并进行转发。在此基础上FPGA也进行系统的任务调度，通过它解决定制电路不够灵活和可编程器件门电路数量有限的问题，也可基于它进行各种机器人的应用开发。
所述IMU惯性导航模块芯片型号是(ADIS16460)，它主要提供六轴惯性测量数据，为机器人提供里程信息，跟GNSS观测量进行组合导航定位解算。GNSS观测数据和IMU测量数据通过FPGA读取后转发输入到STM32嵌入式ARM模块中进行组合导航位姿解算。
所述嵌入式ARM模块为STM32，其CPU为ARM Cortex 32架构，虽然其性能不如主处理器，但其功耗更低，适合作为协处理器。该芯片主要用来管理调度板上芯片输出和各种外围设备接入，既可以进行组合导航位置解算，也可以直接连接控制伺服电机，支持多路伺服电机串行控制，完成对底层驱动和机械臂的控制，因此具体实施时可以连接设置用于支持显示的LCD显示屏模块、控制模块、COM接口和Mini USB接口。
本发明的目的在于提供一中高度集成的智能化控制装置，为机器人嵌入式系统开发提供一个高度集成、高性能、便捷的平台，以实现机器人的多传感器数据集成和多种方式高精度实时定位，并进行路径规划，最后通过深度学习模块实现环境的感知，实现避障和语义级任务。
第一步：搭建智能化硬件平台。不仅集成了包括嵌入式ARM模块、GNSS卫星导航模块、FPGA、核心处理模块Jetson TX1和IMU惯性导航模块等众多传感器，而且包含各类接口以接入各种传感器，拥有4G模块实现高速网络数据传输，可以挂在摄像头、激光雷达等传感器。
第二步：基于集成的高精度GNSS卫星导航模块和IMU惯性导航模块提供连续实时的室外高精度全局定位和路径规划。
第三步：结合IMU惯性导航模块、雷达和摄像头等传感器实现室内情况下的实时定位和路径规划。
第四步：通过激光雷达和摄像头等传感器实现环境的智能感知，基于摄像头和激光雷达构建带有精确距离信息的语义地图。具体步骤如下：
1.通过单目摄像头采集的图像在核心处理模块Jetson TX1中进行深度学习训练，实现摄像头实时对图像目标的识别和语义分割；
2.通过激光雷达扫描得到的环境信息和图片中语义目标进行匹配，以得到带有精确距离信息的语义地图。
实施例中，以上步骤基于机器人操作系统ROS完成，如图2所示：
主要由四个部分构成，包括传感器驱动模块、语义感知模块、视觉激光融合模块和语义地图模块。
传感器驱动模块主要从机器人携带的传感器中获取数据，根据ROS中的标准数据封装格式将数据封装并发布到相应的主题上。传感器驱动模块主要包括坐标转换模块、激光雷达模块、摄像头模块、IMU惯性导航模块，其中激光雷达模块提供机器人运动过程中雷达扫描到的信息LaserScan，摄像头模块提供机器人运动过程中摄像头拍摄到的图像信息Image，IMU惯性导航模块提供机器人运动的里程信息Odometry，坐标转换模块提供这个系统的坐标变换关系PoseTransform。
语义感知模块从摄像头模块获取图像信息，从中提取出环境的语义信息，包括目标检测模块和语义封装模块。其中目标检测模块可采用现有的基于深度学习中的目标检测算法，检测出图像中的物体类别信息Detections，语义封装模块将目标检测结果投影到雷达扫描平面，根据目标在图片中占据的像素范围计算目标在雷达视野中占据的角度范围，封装成语义信息Sematics，并提供给视觉激光融合模块。
视觉激光融合模块主要实现语义信息和激光雷达的距离信息两者的实时融合，该模块接收语义信息Sematics和雷达信息LaserScan。由于目标检测模块和图像检测模块的速率往往不一致，视觉激光融合模块首先对获得的语义信息和雷达消息进行实时匹配，然后通过视觉激光融合算法将时间匹配的一组语义信息和雷达信息进行融合，得到带有距离信息的语义点云SematicPointCloud，最后将其提供给语义地图构建模块构建带有距离信息的语义地图。
进一步的，本发明提出优选使用的视觉激光融合算法：(1)摄像头和雷达安置位置的标定，摄像头固定在机器人正前方，由于雷达扫描是一个扇形，所以雷达扫描最左边和左右边和摄像头正前方存在固定的安装角，首先标定该安装角；(2)将接收的语义信息Sematics中的语义信息提取出来，每个带有语义信息的单元都包含语义类型，并通过现有的几何方法计算出该语义单元在在摄像头中的对应的角度范围；(3)根据收到的雷达信息LaserScan的存储特征来赋予其语义信息，具体就是根据标定的固定值分析雷达信息中每一条射线在摄像头中相对应的角度，当这一角度在步骤(2)所得的语义单元对应的角度范围内时，就给雷达信息赋予语义信息，当处理完每一帧雷达信息之后得到带有距离信息的语义点云SematicPointCloud，将提供给语义地图构建模块。
语义地图构建模块主要结合语义点云信息SematicPointCloud、实时的坐标变换关系PoseTransform和里程信息Odometry对机器人同时定位并构建带有距离信息的语义地图。该模块主要基于语义点云SematicPointCloud绘制地图，主要由以下四个小模块组成：局部优化模块、局部地图构建模块、全局优化模块和语义地图绘制模块组成。局部优化模块根据里程信息Odometry和现有的扫描匹配算法优化语义点云的位姿，得到优化后的点云信息SematicRangeData；局部地图构建模块基于优化后的语义点云信息构建局部地图信息Submap；全局优化模块利用现有的图优化算法消除局部地图构建过程累积的误差，从而得到优化后的位姿信息SubmapPose；语义地图绘制模块根据Submap和SubmapPose绘制带有距离信息的语义地图。
第五步：将局部规划的控制命令通过SMT32芯片发送给底层驱动，直接精确控制机器人的运动，以完成语义级任务。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：包括集成设置的核心处理单元Jetson芯片、FPGA芯片、嵌入式ARM模块和多种传感器，所述传感器包括GNSS卫星导航模块、IMU惯性导航模块、激光雷达和摄像头，核心处理单元Jetson芯片连接摄像头和激光雷达，FPGA芯片分别连接GNSS卫星导航模块和IMU惯性导航模块、嵌入式ARM模块；嵌入式ARM模块连接控制机器人的伺服电机；
基于集成的GNSS卫星导航模块和IMU惯性导航模块提供连续实时的室外高精度全局定位和路径规划；
结合IMU惯性导航模块、激光雷达和摄像头实现室内情况下的实时定位和路径规划；
通过激光雷达和摄像头实现环境的智能感知，基于摄像头和激光雷达构建带有精确距离信息的语义地图；
将局部规划的控制命令通过嵌入式ARM模块发送给底层驱动，直接精确控制机器人的运动，以完成语义级任务。
2.根据权利要求1所述集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：所述通过激光雷达和摄像头实现环境的智能感知，基于摄像头和激光雷达构建带有精确距离信息的语义地图，实现方式为基于机器人操作系统ROS，设置以下模块，
传感器驱动模块用于从机器人携带的各传感器中获取数据，根据ROS中的标准数据封装格式将数据封装并发布到相应的主题；
语义感知模块，用于从摄像头模块获取图像信息，从中提取出环境的语义信息；
视觉激光融合模块，用于实现语义信息和激光雷达的距离信息两者的实时融合，该模块接收语义信息Sematics和雷达信息LaserScan。
语义地图构建模块，用于结合语义点云信息SematicPointCloud、实时的坐标变换关系PoseTransform和里程信息Odometry对机器人同时定位并构建带有距离信息的语义地图。
3.根据权利要求2所述集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：传感器驱动模块包括坐标转换模块、激光雷达模块、摄像头模块、IMU惯性导航模块，其中激光雷达模块提供机器人运动过程中雷达扫描到的信息LaserScan，摄像头模块提供机器人运动过程中摄像头拍摄到的图像信息Image，IMU惯性导航模块提供机器人运动的里程信息Odometry，坐标转换模块提供系统的坐标变换关系PoseTransform。
4.根据权利要求2所述集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：语义感知模块包括目标检测模块和语义封装模块,其中目标检测模块基于深度学习中的目标检测算法，检测出图像中的物体类别信息Detections；语义封装模块将目标检测结果投影到雷达扫描平面，根据目标在图片中占据的像素范围计算目标在雷达视野中占据的角度范围，封装成语义信息Sematics，并提供给视觉激光融合模块。
5.根据权利要求2所述集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：视觉激光融合模块首先对获得的语义信息和雷达消息进行实时匹配，然后将时间匹配的一组语义信息和雷达信息进行融合，得到带有距离信息的语义点云SematicPointCloud，提供给语义地图构建模块构建带有距离信息的语义地图。
6.根据权利要求2所述集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：语义地图构建模块基于语义点云SematicPointCloud绘制地图，包括局部优化模块、局部地图构建模块、全局优化模块和语义地图绘制模块，局部优化模块根据里程信息Odometry和扫描匹配算法优化语义点云的位姿，得到优化后的点云信息SematicRangeData；局部地图构建模块基于优化后的语义点云信息构建局部地图信息Submap；全局优化模块利用图优化算法消除局部地图构建过程累积的误差，从而得到优化后的位姿信息SubmapPose；语义地图绘制模块根据Submap和SubmapPose绘制带有距离信息的语义地图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810508465.6A CN108776474B (zh) | 2018-05-24 | 2018-05-24 | 集成高精度导航定位与深度学习的机器人嵌入式计算终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810508465.6A CN108776474B (zh) | 2018-05-24 | 2018-05-24 | 集成高精度导航定位与深度学习的机器人嵌入式计算终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108776474A true CN108776474A (zh) | 2018-11-09 |
| CN108776474B CN108776474B (zh) | 2022-03-15 |
Family
ID=64027638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810508465.6A Active CN108776474B (zh) | 2018-05-24 | 2018-05-24 | 集成高精度导航定位与深度学习的机器人嵌入式计算终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108776474B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109278056A (zh) * | 2018-11-22 | 2019-01-29 | 复旦大学无锡研究院 | 无人配送机器人 |
| CN109634279A (zh) * | 2018-12-17 | 2019-04-16 | 武汉科技大学 | 基于激光雷达与单目视觉的物体定位方法 |
| CN109855624A (zh) * | 2019-01-17 | 2019-06-07 | 宁波舜宇智能科技有限公司 | 用于agv车的导航装置及导航方法 |
| CN109917786A (zh) * | 2019-02-04 | 2019-06-21 | 浙江大学 | 一种面向复杂环境作业的机器人感知系统及系统运行方法 |
| CN110111374A (zh) * | 2019-04-29 | 2019-08-09 | 上海电机学院 | 基于分组阶梯式阈值判断的激光点云匹配方法 |
| CN110220517A (zh) * | 2019-07-08 | 2019-09-10 | 紫光云技术有限公司 | 一种结合环境语意的室内机器人鲁棒slam方法 |
| CN110553644A (zh) * | 2019-09-20 | 2019-12-10 | 鞍钢集团矿业有限公司 | 一种矿用电铲精准定位系统和方法 |
| CN111002305A (zh) * | 2019-11-05 | 2020-04-14 | 珠海格力电器股份有限公司 | 基于图像扫描、识别和路径规划的可移动洗衣助手机器人 |
| CN111240319A (zh) * | 2019-12-31 | 2020-06-05 | 南京理工大学 | 室外多机器人协同作业系统及其方法 |
| CN111309015A (zh) * | 2020-02-25 | 2020-06-19 | 华南理工大学 | 一种融合多传感器的变电站巡检机器人定位导航系统 |
| CN111380527A (zh) * | 2018-12-28 | 2020-07-07 | 沈阳新松机器人自动化股份有限公司 | 一种室内服务机器人的导航方法及导航控制器 |
| CN111781929A (zh) * | 2020-07-08 | 2020-10-16 | 苏州索亚机器人技术有限公司 | Agv小车及3d激光雷达定位与导航方法 |
| CN112285756A (zh) * | 2020-10-22 | 2021-01-29 | 华中科技大学鄂州工业技术研究院 | 一种基于imu与北斗系统的高精度定位系统及方法 |
| CN112340063A (zh) * | 2020-09-28 | 2021-02-09 | 南京邮电大学 | 一种基于深度强化学习的卫星消旋方法 |
| WO2021056841A1 (zh) * | 2019-09-26 | 2021-04-01 | 上海商汤智能科技有限公司 | 定位方法、路径确定方法、装置、机器人及存储介质 |
| CN113008224A (zh) * | 2021-03-04 | 2021-06-22 | 国电瑞源(西安)智能研究院有限公司 | 一种融合多传感器的室内外自适应导航系统及方法 |
| CN113296495A (zh) * | 2020-02-19 | 2021-08-24 | 苏州宝时得电动工具有限公司 | 自移动设备的路径形成方法、装置和自动工作系统 |
| CN113327289A (zh) * | 2021-05-18 | 2021-08-31 | 中山方显科技有限公司 | 一种多源异构传感器的同时内外参标定方法 |
| CN114393563A (zh) * | 2021-12-21 | 2022-04-26 | 昆山市工研院智能制造技术有限公司 | 一种室内科教移动操作机器人实训平台 |
| CN115107057A (zh) * | 2022-08-12 | 2022-09-27 | 广东海洋大学 | 一种基于ros和深度视觉的智能养老服务机器人 |
| CN115127553A (zh) * | 2022-09-01 | 2022-09-30 | 北京路凯智行科技有限公司 | 矿用车辆的导航定位系统及导航定位方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130265189A1 (en) * | 2012-04-04 | 2013-10-10 | Caterpillar Inc. | Systems and Methods for Determining a Radar Device Coverage Region |
| CN104422948A (zh) * | 2013-09-11 | 2015-03-18 | 南京理工大学 | 一种嵌入式组合导航系统及其方法 |
| CN105333870A (zh) * | 2015-12-15 | 2016-02-17 | 中国电子科技集团公司第二十六研究所 | 一种微型复合导航电路 |
| CN106020208A (zh) * | 2016-07-27 | 2016-10-12 | 湖南晖龙股份有限公司 | 一种基于ros操作系统的机器人远程控制方法和远程控制系统 |
| CN106406338A (zh) * | 2016-04-14 | 2017-02-15 | 中山大学 | 一种基于激光测距仪的全向移动机器人的自主导航装置及其方法 |
| CN106681330A (zh) * | 2017-01-25 | 2017-05-17 | 北京航空航天大学 | 基于多传感器数据融合的机器人导航方法及装置 |
| CN106802954A (zh) * | 2017-01-18 | 2017-06-06 | 中国科学院合肥物质科学研究院 | 无人车语义地图模型构建方法及其在无人车上的应用方法 |
| CN107066507A (zh) * | 2017-01-10 | 2017-08-18 | 中国人民解放军国防科学技术大学 | 一种基于云机器人混合云架构的语义地图构建方法 |
| CN107144285A (zh) * | 2017-05-08 | 2017-09-08 | 深圳地平线机器人科技有限公司 | 位姿信息确定方法、装置和可移动设备 |
| CN107544501A (zh) * | 2017-09-22 | 2018-01-05 | 广东科学技术职业学院 | 一种智能机器人智慧行走控制系统及其方法 |
| CN107717989A (zh) * | 2017-10-11 | 2018-02-23 | 深圳市普渡科技有限公司 | 一种采用智能配送机器人控制系统 |
| CN107807633A (zh) * | 2017-09-27 | 2018-03-16 | 北京图森未来科技有限公司 | 一种路侧设备、车载设备以及自动驾驶感知方法及系统 |
-
2018
- 2018-05-24 CN CN201810508465.6A patent/CN108776474B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130265189A1 (en) * | 2012-04-04 | 2013-10-10 | Caterpillar Inc. | Systems and Methods for Determining a Radar Device Coverage Region |
| CN104422948A (zh) * | 2013-09-11 | 2015-03-18 | 南京理工大学 | 一种嵌入式组合导航系统及其方法 |
| CN105333870A (zh) * | 2015-12-15 | 2016-02-17 | 中国电子科技集团公司第二十六研究所 | 一种微型复合导航电路 |
| CN106406338A (zh) * | 2016-04-14 | 2017-02-15 | 中山大学 | 一种基于激光测距仪的全向移动机器人的自主导航装置及其方法 |
| CN106020208A (zh) * | 2016-07-27 | 2016-10-12 | 湖南晖龙股份有限公司 | 一种基于ros操作系统的机器人远程控制方法和远程控制系统 |
| CN107066507A (zh) * | 2017-01-10 | 2017-08-18 | 中国人民解放军国防科学技术大学 | 一种基于云机器人混合云架构的语义地图构建方法 |
| CN106802954A (zh) * | 2017-01-18 | 2017-06-06 | 中国科学院合肥物质科学研究院 | 无人车语义地图模型构建方法及其在无人车上的应用方法 |
| CN106681330A (zh) * | 2017-01-25 | 2017-05-17 | 北京航空航天大学 | 基于多传感器数据融合的机器人导航方法及装置 |
| CN107144285A (zh) * | 2017-05-08 | 2017-09-08 | 深圳地平线机器人科技有限公司 | 位姿信息确定方法、装置和可移动设备 |
| CN107544501A (zh) * | 2017-09-22 | 2018-01-05 | 广东科学技术职业学院 | 一种智能机器人智慧行走控制系统及其方法 |
| CN107807633A (zh) * | 2017-09-27 | 2018-03-16 | 北京图森未来科技有限公司 | 一种路侧设备、车载设备以及自动驾驶感知方法及系统 |
| CN107717989A (zh) * | 2017-10-11 | 2018-02-23 | 深圳市普渡科技有限公司 | 一种采用智能配送机器人控制系统 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109278056A (zh) * | 2018-11-22 | 2019-01-29 | 复旦大学无锡研究院 | 无人配送机器人 |
| CN109634279A (zh) * | 2018-12-17 | 2019-04-16 | 武汉科技大学 | 基于激光雷达与单目视觉的物体定位方法 |
| CN109634279B (zh) * | 2018-12-17 | 2022-08-12 | 瞿卫新 | 基于激光雷达与单目视觉的物体定位方法 |
| CN111380527A (zh) * | 2018-12-28 | 2020-07-07 | 沈阳新松机器人自动化股份有限公司 | 一种室内服务机器人的导航方法及导航控制器 |
| CN109855624A (zh) * | 2019-01-17 | 2019-06-07 | 宁波舜宇智能科技有限公司 | 用于agv车的导航装置及导航方法 |
| CN109917786A (zh) * | 2019-02-04 | 2019-06-21 | 浙江大学 | 一种面向复杂环境作业的机器人感知系统及系统运行方法 |
| CN110111374A (zh) * | 2019-04-29 | 2019-08-09 | 上海电机学院 | 基于分组阶梯式阈值判断的激光点云匹配方法 |
| CN110220517A (zh) * | 2019-07-08 | 2019-09-10 | 紫光云技术有限公司 | 一种结合环境语意的室内机器人鲁棒slam方法 |
| CN110553644A (zh) * | 2019-09-20 | 2019-12-10 | 鞍钢集团矿业有限公司 | 一种矿用电铲精准定位系统和方法 |
| WO2021056841A1 (zh) * | 2019-09-26 | 2021-04-01 | 上海商汤智能科技有限公司 | 定位方法、路径确定方法、装置、机器人及存储介质 |
| CN111002305A (zh) * | 2019-11-05 | 2020-04-14 | 珠海格力电器股份有限公司 | 基于图像扫描、识别和路径规划的可移动洗衣助手机器人 |
| CN111002305B (zh) * | 2019-11-05 | 2021-07-30 | 珠海格力电器股份有限公司 | 基于图像扫描、识别和路径规划的可移动洗衣助手机器人 |
| CN111240319A (zh) * | 2019-12-31 | 2020-06-05 | 南京理工大学 | 室外多机器人协同作业系统及其方法 |
| CN113296495B (zh) * | 2020-02-19 | 2023-10-20 | 苏州宝时得电动工具有限公司 | 自移动设备的路径形成方法、装置和自动工作系统 |
| CN113296495A (zh) * | 2020-02-19 | 2021-08-24 | 苏州宝时得电动工具有限公司 | 自移动设备的路径形成方法、装置和自动工作系统 |
| CN111309015A (zh) * | 2020-02-25 | 2020-06-19 | 华南理工大学 | 一种融合多传感器的变电站巡检机器人定位导航系统 |
| CN111781929A (zh) * | 2020-07-08 | 2020-10-16 | 苏州索亚机器人技术有限公司 | Agv小车及3d激光雷达定位与导航方法 |
| CN112340063A (zh) * | 2020-09-28 | 2021-02-09 | 南京邮电大学 | 一种基于深度强化学习的卫星消旋方法 |
| CN112340063B (zh) * | 2020-09-28 | 2022-05-31 | 南京邮电大学 | 一种基于深度强化学习的卫星消旋方法 |
| CN112285756A (zh) * | 2020-10-22 | 2021-01-29 | 华中科技大学鄂州工业技术研究院 | 一种基于imu与北斗系统的高精度定位系统及方法 |
| CN113008224A (zh) * | 2021-03-04 | 2021-06-22 | 国电瑞源(西安)智能研究院有限公司 | 一种融合多传感器的室内外自适应导航系统及方法 |
| CN113327289A (zh) * | 2021-05-18 | 2021-08-31 | 中山方显科技有限公司 | 一种多源异构传感器的同时内外参标定方法 |
| CN114393563A (zh) * | 2021-12-21 | 2022-04-26 | 昆山市工研院智能制造技术有限公司 | 一种室内科教移动操作机器人实训平台 |
| CN115107057A (zh) * | 2022-08-12 | 2022-09-27 | 广东海洋大学 | 一种基于ros和深度视觉的智能养老服务机器人 |
| CN115127553A (zh) * | 2022-09-01 | 2022-09-30 | 北京路凯智行科技有限公司 | 矿用车辆的导航定位系统及导航定位方法 |
| CN115727844A (zh) * | 2022-09-01 | 2023-03-03 | 北京路凯智行科技有限公司 | 矿用车辆的导航定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108776474B (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776474A (zh) | 集成高精度导航定位与深度学习的机器人嵌入式计算终端 | |
| CN111897332B (zh) | 一种语义智能变电站机器人仿人巡视作业方法及系统 | |
| CN112650255B (zh) | 基于视觉与激光雷达信息融合的机器人定位导航方法 | |
| CN206709853U (zh) | 一种多旋翼无人机室内同步定位与建图系统 | |
| CN113485392B (zh) | 基于数字孪生的虚拟现实交互方法 | |
| CN208224794U (zh) | 一种机器人终端装置 | |
| US20230274653A1 (en) | Techniques for sharing mapping data between an unmanned aerial vehicle and a ground vehicle | |
| US20230072289A1 (en) | Target detection method and apparatus | |
| AU2018450490B2 (en) | Surveying and mapping system, surveying and mapping method and device, and apparatus | |
| CN110361027A (zh) | 基于单线激光雷达与双目相机数据融合的机器人路径规划方法 | |
| CN111958592A (zh) | 一种变电站巡检机器人图像语义分析系统及方法 | |
| CN106168805A (zh) | 基于云计算的机器人自主行走的方法 | |
| AU2016368234A1 (en) | Autonomous positioning and navigation device, positioning and navigation method and autonomous positioning and navigation system | |
| CN111968262A (zh) | 一种语义智能变电站巡视作业机器人导航系统及方法 | |
| US11709073B2 (en) | Techniques for collaborative map construction between an unmanned aerial vehicle and a ground vehicle | |
| CN103064416A (zh) | 巡检机器人室内外自主导航系统 | |
| CN107688184A (zh) | 一种定位方法以及系统 | |
| CN103335630A (zh) | 低成本三维激光扫描仪 | |
| AU2018449839B2 (en) | Surveying and mapping method and device | |
| CN207965645U (zh) | 一种机器人自主导航系统 | |
| US20230236280A1 (en) | Method and system for positioning indoor autonomous mobile robot | |
| CN109978954A (zh) | 基于箱体的雷达和相机联合标定的方法和装置 | |
| CN114581516A (zh) | 基于单目视觉的多无人机智能识别及相对定位方法 | |
| Du et al. | Autonomous measurement and semantic segmentation of non-cooperative targets with deep convolutional neural networks | |
| CN110309883A (zh) | 一种基于视觉slam的无人机自主定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |