CN112631314B - 基于多线激光雷达与事件相机slam的机器人控制方法、系统 - Google Patents
基于多线激光雷达与事件相机slam的机器人控制方法、系统 Download PDFInfo
- Publication number
- CN112631314B CN112631314B CN202110277131.4A CN202110277131A CN112631314B CN 112631314 B CN112631314 B CN 112631314B CN 202110277131 A CN202110277131 A CN 202110277131A CN 112631314 B CN112631314 B CN 112631314B
- Authority
- CN
- China
- Prior art keywords
- robot
- event camera
- obstacle avoidance
- motion
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000033001 locomotion Effects 0.000 claims abstract description 100
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 230000001360 synchronised effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 6
- 238000005206 flow analysis Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008054 signal transmission Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
Abstract
本发明提供了一种基于多线激光雷达与事件相机SLAM的机器人控制方法、系统，通过根据双目事件相机采集的图像数据生成3D地图；获取由多线激光雷达采集的激光点云数据；所述多线激光雷达预先与所述双目事件相机联合标定同步；用所述激光点云数据和所述3D地图进行融合，得到融合的3D地图；将所述融合的3D地图进行2D映射获得平面栅格地图；获取由惯性测量单元测得的机器人位姿数据；根据所述平面栅格地图和所述机器人位姿数据生成避障运动控制指令，并发送至机器人；从而能够高速、稳定、准确地实现机器人避障控制。
Description
技术领域
本发明涉及机器人控制技术领域，尤其涉及一种基于多线激光雷达与事件相机SLAM的机器人控制方法、系统。
背景技术
机器人控制系统是机器人运动的“中枢大脑”，可协助机器人对外界信息进行处理，并输出相应的指令控制机器人进行相应的运动响应。对自运动机器人来说，一般采用SLAM（Simultaneous Localization and Mapping, 同步定位与建图）技术实现避障功能，但是传统的控制系统只能进行低速移动和响应，对于高速物体的追踪和避让却无能为力。
目前，一般的SLAM控制系统搭载的传感器为传统相机或激光雷达；其中，传统相机对环境的光照要求较高，匹配时存在累计误差，需要进一步处理减少误差影响，导致运算成本增加，而且，在对高速运动物体进行识别追踪时，需要进行离散采样并通过形态学处理后，提取特征点，并通过匹配实现点云重构，运算成本较高，响应时间长，导致监测范围内物体运动超过一定速度时，会出跟踪丢失问题；而激光雷达虽然精确度较高，依然存在检测范围有限、重构地图无法辨别语义等问题。因此，传统的基于SLAM的机器人控制系统采集信息受环境影响较大，稳定性和准确度受限，难以进一步提升。
发明内容
鉴于上述现有技术的不足之处，本申请实施例的目的在于提供一种基于多线激光雷达与事件相机SLAM的机器人控制方法、系统，能够高速、稳定、准确地实现机器人避障控制。
第一方面，本申请实施例提供一种基于多线激光雷达与事件相机SLAM的机器人控制方法，包括步骤：
A1.根据双目事件相机采集的图像数据生成3D地图；
A2.获取由多线激光雷达采集的激光点云数据；所述多线激光雷达预先与所述双目事件相机联合标定同步；
A3.用所述激光点云数据和所述3D地图进行融合，得到融合的3D地图；
A4.将所述融合的3D地图进行2D映射获得平面栅格地图；
A5.获取由惯性测量单元测得的机器人位姿数据；
A6.根据所述平面栅格地图和所述机器人位姿数据生成避障运动控制指令，并发送至机器人。
所述的基于多线激光雷达与事件相机SLAM的机器人控制方法中，步骤A6包括：
根据所述平面栅格地图生成全局路径规划指令；
根据双目事件相机采集的图像数据生成局部避障运动指令；
整合所述全局路径规划指令和所述局部避障运动指令，并结合所述机器人位姿数据生成避障运动控制指令。
进一步的，所述根据双目事件相机采集的图像数据生成局部避障运动指令的步骤包括：
根据光强变化从双目事件相机采集的图像数据中提取特征点进行光流分析与跟踪；
根据特征点的深度信息识别是否有物体进入避障范围；
若是，则识别障碍物体的运动趋势用以和所述障碍物体的深度信息进行人工势场算法运算以及四分光流场算法运算，生成局部避障运动指令。
进一步的，所述根据特征点的深度信息识别是否有物体进入避障范围的步骤包括：
判断是否有至少一个特征点的深度小于深度阈值；
若是，则判定有物体进入避障范围，否则，判定没有物体进入避障范围。
进一步的，所述判断是否有至少一个特征点的深度小于深度阈值的步骤之前，还包括步骤：
获取机器人的运动速度数据；
根据所述运动速度数据和预设增益计算深度阈值。
进一步的，所述若是，则识别所述物体的运动趋势用以和所述物体的深度信息进行人工势场算法运算以及四分光流场算法运算，生成局部避障运动指令的步骤包括：
通过DBSCAN聚类算法对所述特征点进行分组，得到各个物体的特征点集合；
根据障碍物体的特征点集合的流光趋势判定所述障碍物体的运动方向；
利用四分光流场算法进行快速前进方向障碍识别与避让响应，得到运动方向指令；
利用人工势场算法计算引力势场Uatt和斥力势场Urep，得到雅阁比梯度合力指定的运动方向；
对所述雅阁比梯度合力指定的运动方向和所述运动方向指令进行整合得到局部避障运动指令。
所述的基于多线激光雷达与事件相机SLAM的机器人控制方法中，步骤A1包括：
获取双目事件相机采集的图像数据；
根据所述图像数据进行ORBSLAM建图，得到3D地图。
所述的基于多线激光雷达与事件相机SLAM的机器人控制方法中，步骤A2包括：
获取多线激光雷达采集的原始激光点云数据；
对所述原始激光点云数据进行预处理，得到去除运动畸变点且时间帧对齐的激光点云数据。
第二方面，本申请实施例提供一种基于多线激光雷达与事件相机SLAM的机器人控制系统，包括双目事件相机、多线激光雷达、惯性测量单元、处理模块和IO接口模块，所述双目事件相机、多线激光雷达、惯性测量单元和IO接口模块均与所述处理模块电性连接；
所述双目事件相机用于采集环境的图像数据；
所述多线激光雷达用于采集环境的激光点云数据；
所述惯性测量单元用于检测机器人的位姿数据和运动数据；
所述处理模块用于执行如所述的基于多线激光雷达与事件相机SLAM的机器人控制方法的步骤；
所述IO接口模块用于实现所述处理模块与机器人之间的信号传输和交换。
所述的基于多线激光雷达与事件相机SLAM的机器人控制系统中，所述惯性测量单元包括IMU模块和GNSS模块。
有益效果：
本申请实施例提供的一种基于多线激光雷达与事件相机SLAM的机器人控制方法、系统，通过根据双目事件相机采集的图像数据生成3D地图；获取由多线激光雷达采集的激光点云数据；所述多线激光雷达预先与所述双目事件相机联合标定同步；用所述激光点云数据和所述3D地图进行融合，得到融合的3D地图；将所述融合的3D地图进行2D映射获得平面栅格地图；获取由惯性测量单元测得的机器人位姿数据；根据所述平面栅格地图和所述机器人位姿数据生成避障运动控制指令，并发送至机器人；从而能够高速、稳定、准确地实现机器人避障控制。
附图说明
图1为本申请实施例提供的基于多线激光雷达与事件相机SLAM的机器人控制方法的流程图。
图2为本申请实施例提供的基于多线激光雷达与事件相机SLAM的机器人控制系统的模块图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，本申请实施例提供一种基于多线激光雷达与事件相机SLAM的机器人控制方法，包括步骤：
A1.根据双目事件相机采集的图像数据生成3D地图；
A2.获取由多线激光雷达采集的激光点云数据；所述多线激光雷达预先与所述双目事件相机联合标定同步；
A3.用所述激光点云数据和所述3D地图进行融合，得到融合的3D地图；
A4.将所述融合的3D地图进行2D映射获得平面栅格地图；
A5.获取由惯性测量单元测得的机器人位姿数据；
A6.根据所述平面栅格地图和所述机器人位姿数据生成避障运动控制指令，并发送至机器人。
在该控制方法中，采用了双目事件相机来取代离散采样的传统的相机作为视觉传感器，采集到的图像为点云图像，可快速输出点云数据，而传统的相机采集到的图像需要进过一系列处理（例如特征点提取、噪声过滤、线性匹配以及深度匹配等）才能得到点云数据，因此，采用双目事件相机来取代传统的相机作为视觉传感器，响应速度更快、运算成本更低、同级设备对能耗要求更低；且适用性较高，可兼容无人机、AGV、机械臂以及机械狗等机器人设备。通过视觉与激光传感器融合，有利于消除两者存在的问题的影响，提高了机器人避障控制的稳定性、精确度以及高响应速度。
其中，在一些实施方式中，步骤A1包括：
A101.获取双目事件相机采集的图像数据；
A102.根据所述图像数据进行ORBSLAM建图，得到3D地图。
其中，ORBSLAM建图的过程为现有技术，此处不对其进行详述，但是，根据双目事件相机采集的图像数据进行3D地图建图的方法不限于此。
在一些优选实施方式中，步骤A1之后还包括步骤：向显示装置输出所述3D地图。以便监控人员监测建图结果是否有效，有利于在双目事件相机故障或建图过程出错时及时采取应对措施。
在实际应用中，多线激光雷达实时采集到的激光点云数据可能存在运动畸变点，需要进行预处理以去除运动畸变变点，从而提高避障控制的准确性。从而，在一些实施方式中，步骤A2包括：
A201.获取多线激光雷达采集的原始激光点云数据；
A202.对所述原始激光点云数据进行预处理，得到去除运动畸变点且时间帧对齐的激光点云数据。
其中，对原始激光点云数据进行预处理的步骤包括：根据机器人前两个时刻下的位姿数据，在假设当前机器人作匀速运动的条件下，预测出下一时刻的机器人位姿，通过插值，获得一帧激光点云中每个激光点发射时刻下机器人的位姿数据，将所有激光点调整到一帧激光点云中帧头时刻下的位置。
在本实施例中，步骤A3中，用激光点云数据和3D地图进行融合，得到融合的3D地图的过程包括：
A301.从所述3D地图中提取视觉点云数据和世界坐标点数据；
A302.对所述视觉点云数据、世界坐标点数据和激光点云数据进行整合，生成融合的3D地图。
其中，对所述视觉点云数据、世界坐标点数据和激光点云数据进行整合的过程包括：使用PCL点云处理工具，进行各点云数据的EKF扩展卡尔曼滤波处理后，在世界坐标系上进行线性匹配，去除非重合的噪声点后进行3D地图重构。
其中，步骤A4中，可采用现有技术将所述融合的3D地图进行2D映射以获得平面栅格地图。例如，采用ROS八叉树库Octomap的octomap_server 功能包把所述融合的3D地图进行2D映射以获得平面栅格地图，但不限于此。
其中，在一些实施方式中，惯性测量单元包括IMU模块和GNSS模块，步骤A5中，根据IMU模块和GNSS模块的测量数据计算机器人位姿数据；其具体过程为现有技术，此处不做详述。
在本实施例中，步骤A6包括：
A601.根据所述平面栅格地图生成全局路径规划指令；
A602.根据双目事件相机采集的图像数据生成局部避障运动指令；
A603.整合所述全局路径规划指令和所述局部避障运动指令，并结合所述机器人位姿数据生成避障运动控制指令。
通过步骤A601生成的全局路径规划指令所对应的全局路径对局部区域的障碍物避障可靠性相对较低，因此，通过在步骤A602中生成局部避障运动指令，以配合全局路径规划指令，用局部实时避障路径对局部区域实时监测到的高动态障碍物进行避让，在按照全局路径进行运动时保证行驶安全性，提高避障的可靠性。
其中，步骤A601中，可采用MPC算法实时生成全局路径规划指令，但不限于此。
进一步的，在一些实施方式中，A602.所述根据双目事件相机采集的图像数据生成局部避障运动指令的步骤包括以下步骤B1-B3：
B1.根据光强变化从双目事件相机采集的图像数据中提取特征点进行光流分析与跟踪。
其中，根据光强变化从双目事件相机采集的图像数据中提取特征点的过程包括：将获取的事件信息进行解码得到相应的像素点坐标集合，然后根据EKF扩展卡尔曼滤波进行回环检测，去除噪音点，保留的点作为特征点。
其中，对特征点进行光流分析与跟踪的过程包括：计算光流值变化大小与极性从而获取点集位移方向（即光流变化方向），然后对特征点集进行聚类和目标识别后，通过解码双目事件相机直接抓取的事件流信息获取对应的运动趋势，配合光流变化方向，对障碍物运动方向进行修正并标示。
B2.根据特征点的深度信息识别是否有物体进入避障范围。
其中，双目事件相机采集的图像数据中是包含特征点的深度信息的，因此，该步骤B2包括：从双目事件相机采集的图像数据中提取特征点的深度信息。
进一步的，在一些实施方式中，该步骤B2包括：
判断是否有至少一个特征点的深度小于深度阈值；
若是，则判定有物体进入避障范围，否则，判定没有物体进入避障范围。
在本实例中，深度阈值的范围一般为2m-10m，但不限于此。
在一些实施方式中，深度阈值为预设的固定值，可根据实际需要进行设置。在另一些实施方式中，可根据机器人的运动速度确定深度阈值，从而所述“判断是否有至少一个特征点的深度小于深度阈值”的步骤之前，还包括步骤：
获取机器人的运动速度数据；
根据所述运动速度数据和预设增益计算深度阈值。
机器人的运动速度数据可通过惯性测量单元测得，例如，通过IMU模块测得机器人的加速度，再对时间进行积分得到运动速度数据；或者，通过GNSS模块直接测得机器人的运动速度数据；或者，综合通过IMU模块测得的运动速度数据和GNSS模块测得的运动速度数据计算有效的运动速度数据，例如，计算两者的平均值作为有效的运动速度数据；或者计算两者的加权平均值作为有效的运动速度数据： v=（a*v1+b*v2）/（a+b），其中v1为通过IMU模块测得的运动速度数据，a为v1的权值，v1为通过GNSS模块测得的运动速度数据，b为v2的权值，a与b的比值等于GNSS模块的速度测量误差与IMU模块的测量误差之比（即测量误差越大，其权值越小）。
在一些优选实施方式中，根据所述运动速度数据和预设增益计算深度阈值的计算公式为：
。其中
为阈值深度值；
为机器人实时运动速度；
为预设增益，设置范围为20-200。阈值最小不低于1m，最大不超过12m，当超出这个范围时，以极值为准。
根据机器人的实际运动速度数据计算得到深度阈值，当速度越快时，得到的深度阈值越大，从而触发避障功能的范围越大，当机器人进行快速移动时，离障碍物较远时即触发避障功能，从而有充值的反应时间进行局部避障路径的规划并生成局部避障运动指令，进一步提高避障的可靠性。
B3.若是，则识别障碍物体的运动趋势用以和所述障碍物体的深度信息进行人工势场算法运算以及四分光流场算法运算，生成局部避障运动指令。
其中，障碍物体是指进入避障范围的物体，该障碍物体的特征点中有至少一个特征点深度小于深度阈值。
进一步的，该步骤B3包括：
通过DBSCAN聚类算法对所述特征点进行分组，得到各个物体的特征点集合；
根据障碍物体的特征点集合的流光趋势判定所述障碍物体的运动方向；
利用四分光流场算法进行快速前进方向障碍识别与避让响应，得到运动方向指令；
利用人工势场算法计算引力势场Uatt和斥力势场Urep，得到雅阁比梯度合力指定的运动方向；
对所述雅阁比梯度合力指定的运动方向和所述运动方向指令进行整合得到局部避障运动指令。
其中，通过DBSCAN聚类算法对所述特征点进行分组，可把属于同一个物体的特征点归为一组，以便对各个物体的运动方向进行准确判断。其中，不限于采用DBSCAN聚类算法进行分组。
其中，“根据障碍物体的特征点集合的光流趋势判定所述障碍物体的运动方向”的过程为现有技术，此处不作详细说明。
其中，利用四分光流场算法进行快速前进方向障碍识别与避让响应，得到运动方向指令，和利用人工势场算法计算引力势场Uatt和斥力势场Urep，得到雅阁比梯度合力指定的运动方向的具体方法为现有技术，此处不对其过程进行详述。
其中，“对所述雅阁比梯度合力指定的运动方向和所述运动方向指令进行整合得到局部避障运动指令”的过程包括：对雅阁比梯度合力方向向量进行标准化处理得到单位矢量，利用该单位矢量与运动方向进行矢量相加，然后得到带有避障方向的下一步运动响应。通过把雅阁比梯度合力指定的运动方向和所述运动方向指令进行整合得到局部避障运动指令，其技术效果为：解决典型人工势场避障方法存在的局部最优解问题，同时将避让障碍物的指令直接融合在运动行进指令中，确保机器人运动避障的实时性，并节省一定的运算成本。
具体的，A603.整合所述全局路径规划指令和所述局部避障运动指令，并结合所述机器人位姿数据生成避障运动控制指令的步骤包括：通过计算传感器获取的环境信息进行3D重构地图，然后通过映射得到2D栅格地图，由全局路径规划算法解算最佳行进路径，用该路径对机器人行进方向进行引导；在机器人沿着该路径行进时，通过人工势场法计算实时获取在避障深度阈值范围内的障碍物数据，并生成动态避障指令作为紧急指令输出；紧急避障完成后，系统重新计算全局路径规划，并重新生成行进路线。
请参阅图2，本申请实施例还提供一种基于多线激光雷达与事件相机SLAM的机器人控制系统，包括双目事件相机1、多线激光雷达2、惯性测量单元3、处理模块4和IO接口模块5，所述双目事件相机1、多线激光雷达2、惯性测量单元3和IO接口模块5均与所述处理模块4电性连接；
所述双目事件相机1用于采集环的境图像数据；
所述多线激光雷达2用于采集环境的激光点云数据；
所述惯性测量单元3用于检测机器人90的位姿数据和运动数据（包括角速度、加速度、机器人位置信息和姿态信息等）；
所述处理模块4用于执行如上述的基于多线激光雷达与事件相机SLAM的机器人控制方法的步骤；
所述IO接口模块5用于实现所述处理模块4与机器人90之间的信号传输和交换。
在一些实施方式中，见图2，所述惯性测量单元3包括IMU模块和GNSS模块（例如GPS模块、北斗模块、GALILEO模块或GLONASS模块）。
在一些实施方式中，见图2，处理模块4包括AUVIDEA TX2搭载板和VIDEA JetsonTX2 CPU；但不限于此。
由上可知，该基于多线激光雷达与事件相机SLAM的机器人控制方法、系统，通过根据双目事件相机采集的图像数据生成3D地图；获取由多线激光雷达采集的激光点云数据；所述多线激光雷达预先与所述双目事件相机联合标定同步；用所述激光点云数据和所述3D地图进行融合，得到融合的3D地图；将所述融合的3D地图进行2D映射获得平面栅格地图；获取由惯性测量单元测得的机器人位姿数据；根据所述平面栅格地图和所述机器人位姿数据生成避障运动控制指令，并发送至机器人；从而能够高速、稳定、准确地实现机器人避障控制。具体来说：
1. 采用了双目事件相机来取代离散采样的传统的相机作为视觉传感器，响应速度更快、运算成本更低、同级设备对能耗要求更低；且适用性较高，可兼容无人机、AGV、机械臂以及机械狗等机器人设备；
2. 通过视觉与激光传感器融合，有利于消除两者存在的问题的影响，提高了机器人避障控制的稳定性、精确度以及高响应速度；
3.控制系统集成的体积较小，重量较轻，对机器人机械结构影响较小，可自由搭载于不同无人平台；
4.可以实现实时在线轨迹重新规划，并且能对外界的障碍物做出更灵敏的反应，规划实时性较高。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，其方案与本发明实质上相同。
Claims (10)
1.一种基于多线激光雷达与事件相机SLAM的机器人控制方法，其特征在于，包括步骤：
A1.根据双目事件相机采集的图像数据生成3D地图；
A2.获取由多线激光雷达采集的激光点云数据；所述多线激光雷达预先与所述双目事件相机联合标定同步；
A3.用所述激光点云数据和所述3D地图进行融合，得到融合的3D地图；
A4.将所述融合的3D地图进行2D映射获得平面栅格地图；
A5.获取由惯性测量单元测得的机器人位姿数据；
A6.根据所述平面栅格地图和所述机器人位姿数据生成避障运动控制指令，并发送至机器人。
2.根据权利要求1所述的基于多线激光雷达与事件相机SLAM的机器人控制方法，其特征在于，步骤A6包括：
根据所述平面栅格地图生成全局路径规划指令；
根据双目事件相机采集的图像数据生成局部避障运动指令；
整合所述全局路径规划指令和所述局部避障运动指令，并结合所述机器人位姿数据生成避障运动控制指令。
3.根据权利要求2所述的基于多线激光雷达与事件相机SLAM的机器人控制方法，其特征在于，所述根据双目事件相机采集的图像数据生成局部避障运动指令的步骤包括：
根据光强变化从双目事件相机采集的图像数据中提取特征点进行光流分析与跟踪；
根据特征点的深度信息识别是否有物体进入避障范围；
若是，则识别障碍物体的运动趋势用以和所述障碍物体的深度信息进行人工势场算法运算以及四分光流场算法运算，生成局部避障运动指令。
4.根 据权利要求3所述的基于多线激光雷达与事件相机SLAM的机器人控制方法，其特征在于，所述根据特征点的深度信息识别是否有物体进入避障范围的步骤包括：
判断是否有至少一个特征点的深度小于深度阈值；
若是，则判定有物体进入避障范围，否则，判定没有物体进入避障范围。
5.根 据权利要求4所述的基于多线激光雷达与事件相机SLAM的机器人控制方法，其特征在于，所述判断是否有至少一个特征点的深度小于深度阈值的步骤之前，还包括步骤：
获取机器人的运动速度数据；
根据所述运动速度数据和预设增益计算深度阈值。
6.根 据权利要求3所述的基于多线激光雷达与事件相机SLAM的机器人控制方法，其特征在于，所述若是，则识别所述物体的运动趋势用以和所述物体的深度信息进行人工势场算法运算以及四分光流场算法运算，生成局部避障运动指令的步骤包括：
通过DBSCAN聚类算法对所述特征点进行分组，得到各个物体的特征点集合；
根据障碍物体的特征点集合的流光趋势判定所述障碍物体的运动方向；
利用四分光流场算法进行快速前进方向障碍识别与避让响应，得到运动方向指令；
利用人工势场算法计算引力势场Uatt和斥力势场Urep，得到雅阁比梯度合力指定的运动方向；
对所述雅阁比梯度合力指定的运动方向和所述运动方向指令进行整合得到局部避障运动指令。
7.根据权利要求1所述的基于多线激光雷达与事件相机SLAM的机器人控制方法，其特征在于，步骤A1包括：
获取双目事件相机采集的图像数据；
根据所述图像数据进行ORBSLAM建图，得到3D地图。
8.根据权利要求1所述的基于多线激光雷达与事件相机SLAM的机器人控制方法，其特征在于，步骤A2包括：
获取多线激光雷达采集的原始激光点云数据；
对所述原始激光点云数据进行预处理，得到去除运动畸变点且时间帧对齐的激光点云数据。
9.一种基于多线激光雷达与事件相机SLAM的机器人控制系统，其特征在于，包括双目事件相机、多线激光雷达、惯性测量单元、处理模块和IO接口模块，所述双目事件相机、多线激光雷达、惯性测量单元和IO接口模块均与所述处理模块电性连接；
所述双目事件相机用于采集环境的图像数据；
所述多线激光雷达用于采集环境的激光点云数据；
所述惯性测量单元用于检测机器人的位姿数据和运动数据；
所述处理模块用于执行如权利要求1-8任一项所述的基于多线激光雷达与事件相机SLAM的机器人控制方法的步骤；
所述IO接口模块用于实现所述处理模块与机器人之间的信号传输和交换。
10.根据权利要求9所述的基于多线激光雷达与事件相机SLAM的机器人控制系统，其特征在于，所述惯性测量单元包括IMU模块和GNSS模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110277131.4A CN112631314B (zh) | 2021-03-15 | 2021-03-15 | 基于多线激光雷达与事件相机slam的机器人控制方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110277131.4A CN112631314B (zh) | 2021-03-15 | 2021-03-15 | 基于多线激光雷达与事件相机slam的机器人控制方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112631314A CN112631314A (zh) | 2021-04-09 |
| CN112631314B true CN112631314B (zh) | 2021-06-04 |
Family
ID=75297676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110277131.4A Active CN112631314B (zh) | 2021-03-15 | 2021-03-15 | 基于多线激光雷达与事件相机slam的机器人控制方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112631314B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113190002B (zh) * | 2021-04-25 | 2022-09-30 | 上海工程技术大学 | 一种高铁箱梁巡检机器人实现自动巡检的方法 |
| CN113378684B (zh) * | 2021-06-04 | 2024-03-29 | 北京顺造科技有限公司 | 清洁设备及用于清洁设备的光触发事件识别方法 |
| CN113492411B (zh) * | 2021-09-10 | 2021-11-30 | 季华实验室 | 机器人抓取路径规划方法、装置、电子设备及存储介质 |
| CN114708478B (zh) * | 2022-06-06 | 2022-09-02 | 季华实验室 | 事件相机与标准相机的数据融合方法、装置、设备及介质 |
| CN116389682B (zh) * | 2023-03-07 | 2024-02-06 | 华中科技大学 | 一种双事件相机同步采集系统及噪声事件抑制方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8359122B2 (en) * | 2004-03-27 | 2013-01-22 | Vision Robotics Corporation | Autonomous personal service robot |
| CN108680156A (zh) * | 2018-02-26 | 2018-10-19 | 北京克路德人工智能科技有限公司 | 一种多传感器数据融合的机器人定位方法 |
| CN110702111A (zh) * | 2018-07-09 | 2020-01-17 | 三星电子株式会社 | 使用双事件相机的同时定位与地图创建（slam） |
| CN111899276A (zh) * | 2020-07-07 | 2020-11-06 | 武汉大学 | 一种基于双目事件相机的slam方法及系统 |
| US10887023B1 (en) * | 2018-10-10 | 2021-01-05 | Wayfarer, Inc. | Variable bandwidth free-space optical communication system for autonomous or semi-autonomous passenger vehicles |
| CN112346073A (zh) * | 2020-09-25 | 2021-02-09 | 中山大学 | 一种动态视觉传感器与激光雷达数据融合方法 |
-
2021
- 2021-03-15 CN CN202110277131.4A patent/CN112631314B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8359122B2 (en) * | 2004-03-27 | 2013-01-22 | Vision Robotics Corporation | Autonomous personal service robot |
| CN108680156A (zh) * | 2018-02-26 | 2018-10-19 | 北京克路德人工智能科技有限公司 | 一种多传感器数据融合的机器人定位方法 |
| CN110702111A (zh) * | 2018-07-09 | 2020-01-17 | 三星电子株式会社 | 使用双事件相机的同时定位与地图创建（slam） |
| US10887023B1 (en) * | 2018-10-10 | 2021-01-05 | Wayfarer, Inc. | Variable bandwidth free-space optical communication system for autonomous or semi-autonomous passenger vehicles |
| CN111899276A (zh) * | 2020-07-07 | 2020-11-06 | 武汉大学 | 一种基于双目事件相机的slam方法及系统 |
| CN112346073A (zh) * | 2020-09-25 | 2021-02-09 | 中山大学 | 一种动态视觉传感器与激光雷达数据融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| The Multivehicle Stereo Event Camera Dataset: An Event Camera Dataset for 3D Perception;Alex Zihao Zhu etc.;《IEEE Robotics and Automation Letters》;20180209;第3卷(第3期) * |
| 移动机器人视觉与激光雷达导航系统研究;王俊翔;《中国优秀硕士学位论文全文数据库 信息科技辑2020年》;20200715;I136-690 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112631314A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112631314B (zh) | 基于多线激光雷达与事件相机slam的机器人控制方法、系统 | |
| CN109583415B (zh) | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 | |
| CN110726409B (zh) | 一种基于激光slam和视觉slam地图融合方法 | |
| US10703479B2 (en) | Unmanned aerial vehicle, control systems for unmanned aerial vehicle and control method thereof | |
| TWI827649B (zh) | 用於ｖｓｌａｍ比例估計的設備、系統和方法 | |
| US11231283B2 (en) | Localization with neural network based image registration of sensor data and map data | |
| US20080243383A1 (en) | Integrated collision avoidance enhanced GN&C system for air vehicle | |
| CN111958592A (zh) | 一种变电站巡检机器人图像语义分析系统及方法 | |
| CN111947644B (zh) | 一种室外移动机器人定位方法、系统及其电子设备 | |
| US20240126294A1 (en) | System and method for perceptive navigation of automated vehicles | |
| CN113220119A (zh) | 一种惯性传感器运动捕捉装置 | |
| Perez et al. | Autonomous collision avoidance system for a multicopter using stereoscopic vision | |
| Adam et al. | Fusion of fixation and odometry for vehicle navigation | |
| Urieva et al. | Collision detection and avoidance using optical flow for multicopter UAVs | |
| Kakillioglu et al. | 3D sensor-based UAV localization for bridge inspection | |
| CN113158779A (zh) | 一种行走方法、装置和计算机存储介质 | |
| CN116952229A (zh) | 无人机定位方法、装置、系统和存储介质 | |
| Saska et al. | Vision-based high-speed autonomous landing and cooperative objects grasping-towards the MBZIRC competition | |
| Nakamura et al. | Estimation Techniques in Robust Vision-Based Landing of Aerial Vehicles | |
| Do Trong et al. | Autonomous landing scheme of VTOL UAV on moving ship using deep learning technique embedded in companion computer | |
| US20230343228A1 (en) | Information processing apparatus, information processing system, and information processing method, and program | |
| CN114721441A (zh) | 多信源融合的车载无人机自主降落控制方法及装置 | |
| JP7179687B2 (ja) | 障害物検知装置 | |
| Andert et al. | Radar-aided optical navigation for long and large-scale flights over unknown and non-flat terrain | |
| Mac et al. | Detection and Estimation of Moving obstacles for a UAV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |