CN109917818A - 基于地面机器人的协同搜索围堵方法 - Google Patents
基于地面机器人的协同搜索围堵方法 Download PDFInfo
- Publication number
- CN109917818A CN109917818A CN201910097762.0A CN201910097762A CN109917818A CN 109917818 A CN109917818 A CN 109917818A CN 201910097762 A CN201910097762 A CN 201910097762A CN 109917818 A CN109917818 A CN 109917818A
- Authority
- CN
- China
- Prior art keywords
- robot
- target
- algorithm
- tracking
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理、实时建图、路径规划和机器人等技术,为提出地面机器人的协同搜索围堵平台,本发明,基于地面机器人的协同搜索围堵方法,利用搭载摄像头和处理器的地面机器人进行目标搜索,其中一台机器人额外搭载激光雷达,所述搭载激光雷达的机器人利用激光雷达建立环境地图,并将地图传输给其它机器人,所有机器人通过摄像头获取周围环境的图像信息并进行处理,利用事先训练好的检测和跟踪算法,在多个物体中识别出指定目标物体,对其进行长时间跟踪,机器人之间通过无线网络进行数据传输;某个机器人检测到目标会对其进行跟踪,并将目标位置信息实时发送给其它地面机器人,进行实时路径规划、围捕。本发明主要应用于机器人设计场合。
Description
技术领域
本发明涉及计算机视觉、图像处理、实时建图、路径规划等领域,解决了在未知环境中多机器人如何搜索围堵特定目标。
背景技术
随着机器人技术的发展,人们对机器人的要求不再局限于单个机器人。近年来,随着机器人生产线的出现及柔性制造系统的应用,研究人员对由多个机器人组成的系统平台越来越感兴趣,多机器人的研究已经成为机器人学研究的一个重要方面。尤其在军工领域,多个机器人如何在未知环境中,建立环境地图,检测跟踪特定目标,并最终实现目标围捕,已越来越成为一个热点方向。
地面机器人协同搜索围捕主要有三部分技术。实时建图,目的是建立未知环境的地图,是后续路径规划的前提,常用的方法有基于激光雷达或者双目摄像头的同步定位与建图方法(Simultaneous Localization and Mapping,SLAM)等。检测跟踪,目的是从复杂环境中检测出目标物体,并持续跟踪,为路径规划提供路径终点,现有的检测算法以基于深度学习的算法为主,包括FasterRCNN(Faster Regions with Convolutional NeuralNetwork features,高速基于区域的卷积神经网络检测算法)、YOLO(You Only Look Once,一眼检测算法)、SSD(Single Shot MultiBox Detector,单图多尺度检测算法)等检测方法,常用的跟踪算法主要包括KCF(Kernel Correlation Filter,核相关滤波跟踪算法)、TLD(Tracking-Learning-Detection,跟踪-学习-检测集成跟踪算法)等算法。若单纯使用检测算法用于追踪,在地面机器人的嵌入式系统上,难以达到实时检测的效果,而单独使用跟踪算法,需要手动初始化第一帧,不能达到自主跟踪目标的效果,且若跟踪失败,无法对目标进行再捕获,如何对二者取长补短是一个亟待解决的问题。路径规划,目的是在已知的环境地图中建立平滑合理的路径,在躲避环境地图上的障碍物基础上,尽可能找到最优路线,常用的方法包括A*(A-star algorithm,启发式搜索)、RRT(Rapidly-exploringRandomized Trees,快速探索随机树)算法等,但是在跟踪移动物体时,需要进行实时路径规划,以上方法难以达到高效和准确。
地面机器人的搜索围捕是前学术界研究的一个重点方向,而搜索围捕中需要的实时建图、检测跟踪和路径规划都是机器人技术发展的关键技术,只有将这些技术逐个攻克,并将其串联起来,才能实现该问题的解决。所以,在同一个系统下实现实时建图、检测跟踪和路径规划等技术,并得到无缝结合的效果,最终解决这个问题,具有极大地研究意义。
发明内容
为克服现有技术的不足,本发明旨在提出针对地面机器人的协同搜索围堵平台。为此,本发明采取的技术方案是,基于地面机器人的协同搜索围堵方法,利用搭载摄像头和处理器的地面机器人进行目标搜索,其中一台机器人额外搭载激光雷达,所述搭载激光雷达的机器人利用激光雷达建立环境地图,并将地图传输给其它机器人,所有机器人通过摄像头获取周围环境的图像信息并进行处理,利用事先训练好的检测和跟踪算法,在多个物体中识别出指定目标物体,对其进行长时间跟踪,机器人之间通过无线网络进行数据传输;某个机器人检测到目标会对其进行跟踪,并将目标位置信息实时发送给其它地面机器人;其它机器人根据目标点位置,进行实时路径规划,从而进行围捕。
具体地:
建立环境地图是基于Gmapping算法来建立地图并确定自身位置,Gmapping是一种粒子滤波算法,将定位和建图过程分离,先进行定位再进行建图,利用激光雷达得到的点云信息,对机器人的自身里程计进行修正,达到实时建图的效果,并将建好的地图通过机器人操作系统ROS(The Robot Operating System)利用无线网络传输给其它地面机器人;
检测和跟踪算法是采用改进的TLD跟踪算法和改进的基于深度学习的YOLOv3-tiny的检测算法,机器人对摄像头内的目标进行检测,如果检测到目标,切换到跟踪算法对目标进行跟踪,如果跟丢,重新进入检测模式,对周围物体进行检测,对目标再捕获,当某个机器人寻找到目标,将目标位置信息实时发送给其它机器人;
路径规划算法,考虑复杂环境障碍与机器人避碰避障等约束条件,建立综合路径长度和光滑程度的性能指标,采用RRT算法,为每个机器人规划出一条安全可行的优化路径,从而能对目标物体进行围捕。
检测算法使用改进的使用自制数据集训练的YOLOv3-tiny,网络提升提取部分卷积层均使用卷积核大小为3,步长为1,扩充尺寸为1的参数结构,采用卷积层-激活函数层-批量归一化层(BatchNorm)-最大池化层作为的基本单元,多层堆叠成最终的特征提取部分;采用六种不同大小的锚点anchor,六种锚点的大小通过对训练集的目标形状进行K近邻算法(k-means)聚类得到,不同锚点分别在网络的不同尺度上进行检测,在特征提取网络第14层后检测大物体,此处特征图经过了5次下采样,特征图尺度减小为输入的1/32,使用特征图尺度较大的三个锚点用于检测大物体;对特征提取网络第14层经过1*1卷积之后经过反卷积之后和特征提取网络第8层进行堆叠concat,此处特征图经过了4次下采样,特征图尺度减小为输入的1/16,使用较小的三个锚点用于检测小物体;为了提升网络的运行速度,将网络输入变为320*320的大小,训练阶段利用随机尺度输入来提升网络检测效果,随机输入范围为[224,416]每隔32取一个尺度,对应的最后一层特征图大小范围为[7,13],训练的最后200次迭代,固定使用320*320大小的输入;具体制作1150张数据集,包含两种目标标签,出现比例为1:1,由于数据量不是很大,对数据进行数据增强,包括随机水平翻转;随机对比度0.2半径、亮度0.2半径、饱和度0.4半径、锐度0.3半径和具有这些变换的随机排列的抖动,随机尺度抖动最小:0.9,最大值:1.2,随机旋转最大abs角度:15,和随机扣取;训练过程共40000次迭代,初始学习率为0.001,在第25000、35000次迭代时,下降学习率为当前的十分之一,批次大小设为64。训练在Darknet(一种深度学习框架)框架下进行,实验环境为Ubuntu16.04操作系统,利用英伟达公司9GB显存的GTX 1080GPU进行网络的训练并利用CUDA进行训练的加速。
跟踪算法使用改进的TLD算法,当检测器和跟踪器的置信度都低于一个阈值时,认为跟踪失败,此时退出跟踪模块,重新调用检测算法进行再检测,如果当前摄像头中没有目标,地面机器人会慢慢旋转360度用于检测捕获目标,若没有检测到目标,则认为跟踪失败;
当跟踪获得的目标位置不在图像的中心附近时,根据横向误差设定角速度,进行方向修正,但需要保证角速度不超过最大角速度。当跟踪获得的目标位置在图像的中心附近时,在锁定目标的矩形框内均匀地提取81个点,提取深度,选取最小的40个点,取均值作为目标的距离,判断距离是否在设定的距离范围内,如果不是,根据纵向误差量设定线速度,进行距离修正,但线速度不超过最大线速度;如果在合理距离内,地面机器人将保持静止,先判断角度后判断距离的原因是,如果角度不正确,地面机器人将越走越偏,深度提取只提取一半的点是为了滤掉锁定目标的矩形框中的背景点。
路径规划采用改进的RRT算法,具体步骤如下:
步骤1:算法初始化:初始化所有机器人的起点和目标点、移动步长ε,把每个机器人的起点作为根节点放入搜索树Tree中;
步骤2:将每个机器人的目标点作为随机点qrand,跳转步骤4;
步骤3:在任务空间中随机产生随机点qrand;
步骤4:在搜索树Tree中找到距离随机点qrand最近的树节点qnear,在qnear至qrand的方向上扩展步长ε产生候选新节点qnear;
步骤5:判断qnew与qnear之间是否满足约束条件,若满足则将qnew添加到搜索树Tree中,实现随机树的一步扩展;否则跳转步骤3;约束条件包含避障约束和机器人自身的运动学约束;其中,障碍不仅仅包括环境中的障碍,还包括机器人间的避碰;对于多机器人协同路径规划问题,每次产生新节点时,将其它机器人已经生产的节点作为障碍区域,判断与其距离是否满足安全距离,若满足,则认为该节点有效,若不满足,则重新生成新节点,直至满足避撞的条件;
步骤6:判断迭代终止:确定终点位置是否找到,如果没有找到跳转步骤2;否则,从已经生成的搜索树Tree中回溯寻找从起点qinit到终点qgoal的最优路径。
本发明的特点及有益效果是:
由于视觉设备能够采集到丰富的环境信息,随着工业的发展和科学研究的进步,
从检测跟踪到实时建图等多个技术已经成为了计算机视觉以及机器人领域的研究热点。近年来随着深度学习的蓬勃发展,以及硬件水平的提高,针对机器人嵌入式平台上的技术得到了高度的关注,检测跟踪、路径规划等关键技术成为重要的应用研究方向。本发明提出一种基于地面机器人的搜索检测围堵技术,对于多机器人协同技术的研究具有十分重要的意义。该项发明稳定可靠,可扩展性好,稳定性强,整个算法均在机载处理器中完成,在PC端进行可视化。提高了整个系统的稳定性和可靠性。总而言之随着社会需求的提高,机器人有越来越多的功能需求及应用场景,要求机器人需要拥有更强的感知、决策以及执行能力,基于机器人的感知决策的研究成为解决该问题的关键。
附图说明:
附图1基于地面机器人的协同搜索围堵平台图。
附图2检测跟踪实现效果图。
附图3基于地面机器人的协同搜索围堵平台技术框架图。
附图4实时建图效果图。
附图5检测跟踪算法流程图。
附图6检测跟踪算法PC端可视化界面。
附图7目标检测网络结构图。
附图8地面机器人数据集。
附图9跟踪算法结构。
附图10机器人控制算法流程图。
附图11路径规划算法流程。
具体实施方式
针对上述问题,本发明旨在提供一种针对地面机器人的协同搜索围堵平台。地面机器人搭载kinectv2(一款微软公司发布的双目摄像头)作为感知设备,搭载JetsonTX2(一款英伟达公司发布的机载处理器)作为处理器,其中一台额外搭载16线激光雷达velodyneVLP-16用于建图。搭载激光雷达的“搜索机器人”利用激光雷达建立环境地图,并将地图传输给其它机器人。所有机器人通过摄像头获取周围环境的图像信息并进行处理,利用事先训练好的检测模型和跟踪算法,在多个物体中识别出指定目标物体,对其进行长时间跟踪,机器人之间通过无线网络进行数据传输。某个机器人检测到目标会对其进行跟踪,并将目标位置信息实时发送给其它地面机器人。其它机器人根据目标点位置,进行实时路径规划,从而进行围捕。
本发明功能与特点如下:
(1)本发明带有一个激光雷达,用于采集地面机器人周围点云信息,从而建立周围环境地图,并将建立的地图通过无线网络传输给其它地面机器人。
(2)本发明采用检测和跟踪相结合的方法,针对检测算法速度慢但不需要初始化和跟踪算法速度快但必须要第一帧初始化的情况,利用检测算法得到的目标位置作为跟踪算法的第一帧初始化框,实现自主检测跟踪。
(3)本发明当跟踪算法跟踪失败时,重新调用检测算法,对周围环境进行检测,实现对目标物体的再捕获。
(4)机器人移动过程中,根据目标点位置进行实时全局路径规划,在局部路径规划中考虑移动机器人运动学模型,对动态障碍物进行实时局部路径规划。
本发明提出了一种基于地面机器人的协同搜索围堵平台,实验环境依托于ROS的分布式节点框架体系,硬件系统由地面机器人、kinectv2双目摄像头以及JetsonTX2处理器、16线激光雷达velodyne VLP-16等构成。
技术方案如下:
地面机器人搭载kinectv2摄像头和JetsonTX2处理器,其中一台额外搭载16线激光雷达velodyne VLP-16。Jetson TX2是目前较为先进的嵌入式视觉计算系统,是对世界上第一款模块式超级计算机Jetson TX1的升级改良版。JetsonTX2基于内含256个CUDA核心的NVIDIA Pascal架构设计,是计算机视觉、深度学习、GPU计算和图像处理等领域的优秀开发平台。本发明利用该处理器运行建图检测跟踪等算法,利用kinectv2摄像头来采集环境图像,利用激光雷达进行建图。
协同搜索围堵平台主要由实时建图、检测跟踪、路径规划三大部分构成。
实时建图,基于Gmapping算法来建立地图并确定自身位置,利用激光雷达得到的点云信息,对机器人的自身里程计进行修正,达到实时建图的效果,并将建好的地图通过ROS系统利用无线网络传输给其它地面机器人。
检测跟踪算法,采用改进的TLD跟踪算法和基于深度学习的YOLOv3-tiny的检测算法。机器人对摄像头内的目标进行检测,如果检测到目标,切换到跟踪算法对目标进行跟踪,如果跟丢,重新进入检测模式,对周围物体进行检测,对目标再捕获,当某个机器人寻找到目标,将目标位置信息实时发送给其它机器人。
路径规划算法,考虑复杂环境障碍与机器人避碰避障等约束条件,建立综合路径长度和光滑程度的性能指标,采用改进的RRT算法,为每个机器人规划出一条安全可行的优化路径,从而能对目标物体进行围捕。
本发明主要具有如下特点和优点:
(1)模拟场景验证技术:本发明提出了一种模仿战争情况的平台场景,模拟实现多机器人目标的搜索跟踪与围堵,并验证了实时建图、检测跟踪、路径规划等多个关键技术,且整个平台模块化,可依据需要对算法进行替换。
(2)机器人自主检测跟踪:本发明提出了一种基于深度学习的检测方法和传统跟踪算法相结合的方法,实现机器人对目标自主检测跟踪,为后续地面机器人进行轨迹规划等任务奠定基础。
(3)跟踪目标丢失再捕获:本发明中提出的方法,能够监测是否顺利对目标物体进行跟踪,当发现跟踪失败时,再次调用算法的检测部分,对周围环境进行检测,实现对目标物体的再捕获。
下面结合附图对本发明做进一步描述。
基于地面机器人的协同搜索围堵平台的算法整体结构如图1所示。图2中包含地面机器人的结构,地面机器人上除机身外的硬件电机、里程计等,还包括kinectv2双目摄像头、JetsonTX2处理器等。
图3所示为基于地面机器人的协同搜索围堵平台技术框架。该方法主要由实时建图、检测跟踪、路径规划三部分组成。
实时建图使用ROS系统自带的Gmapping算法来实现,利用激光雷达得到的点云信息,对机器人自身里程计进行修正,从而进行建图和定位,具体步骤参考ROS官网,此处不再赘述。图4是实时建图的效果图。
图5是检测跟踪算法的流程图,主要分为检测、跟踪、控制三部分。检测算法接收RGB图像,对当前帧进行检测,得到目标的位置并发布。跟踪算法接收RGB图像和检测算法发送的初始框做初始化,对目标进行跟踪,实时发布目标在图像中的位置。控制算法接收RGB图像、深度图像和目标位置,发布机器人控制指令。实时自主检测跟踪效果如图2所示。TX2上程序运行状况传输到PC端进行可视化,如图6所示。
检测算法使用改进的自制数据集训练的YOLOv3-tiny,模型结构如图7所示,为使模型运行速度较快,模型的参数尽可能的少,不采用大尺寸的卷积核,网络提升提取部分卷积层均使用卷积核大小为3,步长为1,扩充尺寸为1的参数结构,采用卷积层-激活函数层-批量归一化层(BatchNorm)-最大池化层作为的基本单元,多层堆叠成最终的特征提取部分。为了针对性的对小物体和大物体进行检测,网络设计了六种不同大小的锚点(anchor),六种锚点的大小通过对训练集的目标形状进行k-means聚类得到。不同锚点分别在网络的不同尺度上进行检测。在特征提取网络第14层后检测大物体,此处特征图经过了5次下采样,特征图尺度减小为输入的1/32,使用较大的三个锚点用于检测大物体;对特征提取网络第14层经过1*1卷积之后经过反卷积之后和特征提取网络第8层进行堆叠(concat),此处特征图经过了4次下采样,特征图尺度减小为输入的1/16,使用较小的三个锚点用于检测小物体。为了提升网络的运行速度,将网络输入变为320*320的大小,训练阶段利用随机尺度输入来提升网络检测效果,随机输入范围为[224,416]每隔32取一个尺度,对应的最后一层特征图大小范围为[7,13],训练的最后200次迭代,固定使用320*320大小的输入。制作了1150张数据集,包含两种目标标签,出现比例为1:1,如图8所示。由于数据量不是很大,我们对数据进行数据增强,包括随机水平翻转;随机对比度(0.2半径)、亮度(0.2半径)、饱和度(0.4半径)、锐度(0.3半径)和具有这些变换的随机排列的抖动,随机尺度抖动(最小:0.9,最大值:1.2),随机旋转(最大绝对角度:15)和随机扣取。训练过程共40000次迭代,初始学习率为0.001,在第25000、35000次迭代时,下降学习率为当前的十分之一,批次大小(batchsize)设为64。整个实验在Darknet的深度学习框架下进行,实验环境为Ubuntu16.04操作系统,利用NVIDIA公司9GB显存的GTX 1080GPU进行网络的训练并利用CUDA(ComputeUnified Device Architecture,计算统一设备架构)进行训练的加速。训练完需要约16小时时间。训练后的实时检测效果如图2所示。
跟踪算法使用改进的TLD算法,算法结构如图9所示。为了提升算法速度,将TLD算法的部分算法使用GPU加速,并对TLD算法联合检测算法进行改进,为提升跟踪算法速度,减少分类器的训练样本数量,并且在综合模块部分,当检测器和跟踪器的置信度都低于一个阈值时,认为跟踪失败,此时退出跟踪模块,重新调用检测算法进行再检测,如果当前摄像头中没有目标,地面机器人会慢慢旋转360度用于检测捕获目标,若没有检测到目标,则认为跟踪失败。
控制算法结构如图10所示,当跟踪获得的目标位置不在图像的中心附近时,根据横向误差设定角速度,进行方向修正,但需要保证角速度不超过最大角速度。当跟踪获得的目标位置在图像的中心附近时,在锁定目标的矩形框内均匀地提取81个点,提取深度,选取最小的40个点,取均值作为目标的距离,判断距离是否在设定的距离范围内,如果不是,根据纵向误差量设定线速度,进行距离修正,但线速度不超过最大线速度。如果在合理距离内,地面机器人将保持静止。先判断角度后判断距离的原因是,如果角度不正确,地面机器人将越走越偏。深度提取只提取一半的点是为了滤掉锁定目标的矩形框中的背景点。
路径规划算法由图11所示,路径规划的起点是地面机器人当前位置,终止位置是目标机器人的周围位置。多机器人协同路径规划不是单机路径的简单叠加,还需要考虑机器人之间的相互影响。此处采用改进的RRT算法,为每个机器人规划出一条优化路径。由于传统RRT算法存在寻优效果差和求解时间慢的缺点,本发明提出了基于启发因子和动态移动步长的改进RRT算法。分别对静态环境下路径规划和动态环境下路径重规划问题进行求解。步骤如下:
步骤1:(算法初始化)初始化所有机器人的起点和目标点、移动步长ε,把每个机器人的起点作为根节点放入搜索树Tree中。
步骤2:将每个机器人的目标点作为随机点qrand,跳转步骤4。
步骤3:在任务空间中随机产生随机点qrand。
步骤4:在搜索树Tree中找到距离随机点qrand最近的树节点qnear,在qnear至qrand的方向上扩展步长ε产生候选新节点qnear。
步骤5:判断qnew与qnear之间是否满足约束条件,若满足则将qnew添加到搜索树Tree中,实现随机树的一步扩展;否则跳转步骤3。约束条件包含避障约束和机器人自身的运动学约束。其中,障碍不仅仅包括环境中的障碍,还包括机器人间的避碰。对于多机器人协同路径规划问题,每次产生新节点时,将其它机器人已经生产的节点作为障碍区域,判断与其距离是否满足安全距离,若满足,则认为该节点有效,若不满足,则重新生成新节点,直至满足避撞的条件。
步骤6:(判断迭代终止)确定终点位置是否找到,如果没有找到跳转步骤2;否则,从已经生成的搜索树Tree中回溯寻找从起点qinit到终点qgoal的最优路径。
Claims (5)
1.一种基于地面机器人的协同搜索围堵方法,其特征是,利用搭载摄像头和处理器的地面机器人进行目标搜索,其中一台机器人额外搭载激光雷达,所述搭载激光雷达的机器人利用激光雷达建立环境地图,并将地图传输给其它机器人,所有机器人通过摄像头获取周围环境的图像信息并进行处理,利用事先训练好的检测和跟踪算法,在多个物体中识别出指定目标物体,对其进行长时间跟踪,机器人之间通过无线网络进行数据传输;某个机器人检测到目标会对其进行跟踪,并将目标位置信息实时发送给其它地面机器人;其它机器人根据目标点位置,进行实时路径规划,从而进行围捕。
2.如权利要求1所述的基于地面机器人的协同搜索围堵方法,其特征是,具体地:建立环境地图是基于Gmapping算法来建立地图并确定自身位置,Gmapping是一种粒子滤波算法,将定位和建图过程分离,先进行定位再进行建图,利用激光雷达得到的点云信息,对机器人的自身里程计进行修正,达到实时建图的效果,并将建好的地图通过机器人操作系统ROS(The Robot Operating System)利用无线网络传输给其它地面机器人;
检测和跟踪算法是采用改进的TLD跟踪算法和改进的基于深度学习的YOLOv3-tiny的检测算法,机器人对摄像头内的目标进行检测,如果检测到目标,切换到跟踪算法对目标进行跟踪,如果跟丢,重新进入检测模式,对周围物体进行检测,对目标再捕获,当某个机器人寻找到目标,将目标位置信息实时发送给其它机器人;
路径规划算法,考虑复杂环境障碍与机器人避碰避障等约束条件,建立综合路径长度和光滑程度的性能指标,采用RRT算法,为每个机器人规划出一条安全可行的优化路径,从而能对目标物体进行围捕。
3.如权利要求2所述的基于地面机器人的协同搜索围堵方法,其特征是,检测算法使用改进的使用自制数据集训练的YOLOv3-tiny,网络提升提取部分卷积层均使用卷积核大小为3,步长为1,扩充尺寸为1的参数结构,采用卷积层-激活函数层-批量归一化层BatchNorm-最大池化层作为的基本单元,多层堆叠成最终的特征提取部分;采用六种不同大小的锚点anchor,六种锚点的大小通过对训练集的目标形状进行K近邻算法(k-means)聚类得到,不同锚点分别在网络的不同尺度上进行检测,在特征提取网络第14层后检测大物体,此处特征图经过了5次下采样,特征图尺度减小为输入的1/32,使用特征图尺度较大的三个锚点用于检测大物体;对特征提取网络第14层经过1*1卷积之后经过反卷积之后和特征提取网络第8层进行堆叠concat,此处特征图经过了4次下采样,特征图尺度减小为输入的1/16,使用较小的三个锚点用于检测小物体;为了提升网络的运行速度,将网络输入变为320*320的大小,训练阶段利用随机尺度输入来提升网络检测效果,随机输入范围为[224,416]每隔32取一个尺度,对应的最后一层特征图大小范围为[7,13],训练的最后200次迭代,固定使用320*320大小的输入;具体制作1150张数据集,包含两种目标标签,出现比例为1:1,由于数据量不是很大,对数据进行数据增强,包括随机水平翻转;随机对比度0.2半径、亮度0.2半径、饱和度0.4半径、锐度0.3半径和具有这些变换的随机排列的抖动,随机尺度抖动最小:0.9,最大值:1.2,随机旋转最大abs角度:15,和随机扣取;训练过程共40000次迭代,初始学习率为0.001,在第25000、35000次迭代时,下降学习率为当前的十分之一,批次大小设为64。训练在深度学习框架Darknet框架下进行,实验环境为Ubuntu16.04操作系统,利用英伟达公司9GB显存的GTX 1080 GPU进行网络的训练并利用CUDA进行训练的加速。
4.如权利要求2所述的基于地面机器人的协同搜索围堵方法,其特征是,跟踪算法使用改进的TLD算法,当检测器和跟踪器的置信度都低于一个阈值时,认为跟踪失败,此时退出跟踪模块,重新调用检测算法进行再检测,如果当前摄像头中没有目标,地面机器人会慢慢旋转360度用于检测捕获目标,若没有检测到目标,则认为跟踪失败;
当跟踪获得的目标位置不在图像的中心附近时,根据横向误差设定角速度,进行方向修正,但需要保证角速度不超过最大角速度,当跟踪获得的目标位置在图像的中心附近时,在锁定目标的矩形框内均匀地提取81个点,提取深度,选取最小的40个点,取均值作为目标的距离,判断距离是否在设定的距离范围内,如果不是,根据纵向误差量设定线速度,进行距离修正,但线速度不超过最大线速度;如果在合理距离内,地面机器人将保持静止,先判断角度后判断距离的原因是,如果角度不正确,地面机器人将越走越偏,深度提取只提取一半的点是为了滤掉锁定目标的矩形框中的背景点。
5.如权利要求2所述的基于地面机器人的协同搜索围堵方法,其特征是,路径规划采用改进的RRT算法,具体步骤如下:
步骤1:算法初始化:初始化所有机器人的起点和目标点、移动步长ε,把每个机器人的起点作为根节点放入搜索树Tree中;
步骤2:将每个机器人的目标点作为随机点qrand,跳转步骤4;
步骤3:在任务空间中随机产生随机点qrand;
步骤4:在搜索树Tree中找到距离随机点qrand最近的树节点qnear,在qnear至qrand的方向上扩展步长ε产生候选新节点qnear;
步骤5:判断qnew与qnear之间是否满足约束条件,若满足则将qnew添加到搜索树Tree中,实现随机树的一步扩展;否则跳转步骤3;约束条件包含避障约束和机器人自身的运动学约束;其中,障碍不仅仅包括环境中的障碍,还包括机器人间的避碰;对于多机器人协同路径规划问题,每次产生新节点时,将其它机器人已经生产的节点作为障碍区域,判断与其距离是否满足安全距离,若满足,则认为该节点有效,若不满足,则重新生成新节点,直至满足避撞的条件;
步骤6:判断迭代终止:确定终点位置是否找到,如果没有找到跳转步骤2;否则,从已经生成的搜索树Tree中回溯寻找从起点qinit到终点qgoal的最优路径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910097762.0A CN109917818B (zh) | 2019-01-31 | 2019-01-31 | 基于地面机器人的协同搜索围堵方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910097762.0A CN109917818B (zh) | 2019-01-31 | 2019-01-31 | 基于地面机器人的协同搜索围堵方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109917818A true CN109917818A (zh) | 2019-06-21 |
CN109917818B CN109917818B (zh) | 2021-08-13 |
Family
ID=66961220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910097762.0A Active CN109917818B (zh) | 2019-01-31 | 2019-01-31 | 基于地面机器人的协同搜索围堵方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109917818B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110658811A (zh) * | 2019-09-09 | 2020-01-07 | 华南理工大学 | 基于神经网络的受限移动机器人协同路径跟踪控制方法 |
CN110727272A (zh) * | 2019-11-11 | 2020-01-24 | 广州赛特智能科技有限公司 | 一种多台机器人的路径规划调度系统及方法 |
CN110738105A (zh) * | 2019-09-05 | 2020-01-31 | 哈尔滨工业大学(深圳) | 一种基于深度学习的计算城市街道小区人流量的方法、装置、系统及存储介质 |
CN110956218A (zh) * | 2019-12-10 | 2020-04-03 | 同济人工智能研究院(苏州)有限公司 | 基于Heatmap的Nao机器人目标检测足球候选点的生成方法 |
CN111178148A (zh) * | 2019-12-06 | 2020-05-19 | 天津大学 | 一种基于无人机视觉系统的地面目标地理坐标定位方法 |
CN111190420A (zh) * | 2020-01-07 | 2020-05-22 | 大连理工大学 | 一种多移动机器人在安防领域中协作搜索与围捕方法 |
CN111982127A (zh) * | 2020-08-31 | 2020-11-24 | 华通科技有限公司 | LightWeight-3D避障方法 |
CN112223278A (zh) * | 2020-09-09 | 2021-01-15 | 山东省科学院自动化研究所 | 一种基于深度视觉信息的探测机器人跟随方法及系统 |
CN112528959A (zh) * | 2020-12-29 | 2021-03-19 | 上海同温层智能科技有限公司 | 用于清洁机器人的障碍物识别方法 |
CN112947435A (zh) * | 2021-02-04 | 2021-06-11 | 沈阳仪表科学研究院有限公司 | 一种用于爬壁机器人的导航控制方法 |
CN113221761A (zh) * | 2021-05-17 | 2021-08-06 | 深圳大学 | 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置 |
CN113467455A (zh) * | 2021-07-06 | 2021-10-01 | 河北工业大学 | 多工况未知复杂环境下智能小车路径规划方法及设备 |
CN113589823A (zh) * | 2021-08-13 | 2021-11-02 | 江苏科技大学 | 一种多移动机器人协同目标搜索方法 |
CN113762140A (zh) * | 2021-09-03 | 2021-12-07 | 上海擎朗智能科技有限公司 | 一种基于机器人的建图方法、电子设备及存储介质 |
CN114237309A (zh) * | 2021-12-15 | 2022-03-25 | 新奥数能科技有限公司 | 一种光伏组件的角度调节方法和装置 |
CN114355910A (zh) * | 2021-12-23 | 2022-04-15 | 西安建筑科技大学 | 一种基于Jetson Nano的室内机器人自主建图导航系统及方法 |
WO2022166067A1 (zh) * | 2021-02-04 | 2022-08-11 | 武汉工程大学 | 一种多机重载搬运机器人协同牵引的系统与方法 |
CN114932562A (zh) * | 2021-08-10 | 2022-08-23 | 南京航空航天大学 | 一种基于激光雷达的地下电缆隧道巡检机器人及实现方法 |
CN112528959B (zh) * | 2020-12-29 | 2024-06-07 | 上海同温层信息科技有限公司 | 用于清洁机器人的障碍物识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014068406A2 (en) * | 2012-10-05 | 2014-05-08 | Faro Technologies, Inc. | Device for optically scanning and measuring an environment |
CN108021869A (zh) * | 2017-11-15 | 2018-05-11 | 华侨大学 | 一种结合高斯核函数的卷积神经网络跟踪方法 |
CN108646761A (zh) * | 2018-07-12 | 2018-10-12 | 郑州大学 | 基于ros的机器人室内环境探索、避障和目标跟踪方法 |
CN108765455A (zh) * | 2018-05-24 | 2018-11-06 | 中国科学院光电技术研究所 | 一种基于tld算法的目标稳定跟踪方法 |
CN108986148A (zh) * | 2018-03-21 | 2018-12-11 | 南京邮电大学 | 实现多智能小车协同搜索识别并跟踪特定目标群体的方法 |
CN108983780A (zh) * | 2018-07-24 | 2018-12-11 | 武汉理工大学 | 一种基于改进rrt*算法的移动机器人路径规划方法 |
-
2019
- 2019-01-31 CN CN201910097762.0A patent/CN109917818B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014068406A2 (en) * | 2012-10-05 | 2014-05-08 | Faro Technologies, Inc. | Device for optically scanning and measuring an environment |
CN108021869A (zh) * | 2017-11-15 | 2018-05-11 | 华侨大学 | 一种结合高斯核函数的卷积神经网络跟踪方法 |
CN108986148A (zh) * | 2018-03-21 | 2018-12-11 | 南京邮电大学 | 实现多智能小车协同搜索识别并跟踪特定目标群体的方法 |
CN108765455A (zh) * | 2018-05-24 | 2018-11-06 | 中国科学院光电技术研究所 | 一种基于tld算法的目标稳定跟踪方法 |
CN108646761A (zh) * | 2018-07-12 | 2018-10-12 | 郑州大学 | 基于ros的机器人室内环境探索、避障和目标跟踪方法 |
CN108983780A (zh) * | 2018-07-24 | 2018-12-11 | 武汉理工大学 | 一种基于改进rrt*算法的移动机器人路径规划方法 |
Non-Patent Citations (1)
Title |
---|
R.帕特里克•戈贝尔: "《ROS入门实例》", 31 January 2016 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110738105A (zh) * | 2019-09-05 | 2020-01-31 | 哈尔滨工业大学(深圳) | 一种基于深度学习的计算城市街道小区人流量的方法、装置、系统及存储介质 |
CN110658811A (zh) * | 2019-09-09 | 2020-01-07 | 华南理工大学 | 基于神经网络的受限移动机器人协同路径跟踪控制方法 |
CN110658811B (zh) * | 2019-09-09 | 2020-09-18 | 华南理工大学 | 基于神经网络的受限移动机器人协同路径跟踪控制方法 |
CN110727272A (zh) * | 2019-11-11 | 2020-01-24 | 广州赛特智能科技有限公司 | 一种多台机器人的路径规划调度系统及方法 |
CN110727272B (zh) * | 2019-11-11 | 2023-04-18 | 广州赛特智能科技有限公司 | 一种多台机器人的路径规划调度系统及方法 |
CN111178148B (zh) * | 2019-12-06 | 2023-06-02 | 天津大学 | 一种基于无人机视觉系统的地面目标地理坐标定位方法 |
CN111178148A (zh) * | 2019-12-06 | 2020-05-19 | 天津大学 | 一种基于无人机视觉系统的地面目标地理坐标定位方法 |
CN110956218A (zh) * | 2019-12-10 | 2020-04-03 | 同济人工智能研究院(苏州)有限公司 | 基于Heatmap的Nao机器人目标检测足球候选点的生成方法 |
CN111190420A (zh) * | 2020-01-07 | 2020-05-22 | 大连理工大学 | 一种多移动机器人在安防领域中协作搜索与围捕方法 |
CN111190420B (zh) * | 2020-01-07 | 2021-11-12 | 大连理工大学 | 一种多移动机器人在安防领域中协作搜索与围捕方法 |
CN111982127A (zh) * | 2020-08-31 | 2020-11-24 | 华通科技有限公司 | LightWeight-3D避障方法 |
CN112223278A (zh) * | 2020-09-09 | 2021-01-15 | 山东省科学院自动化研究所 | 一种基于深度视觉信息的探测机器人跟随方法及系统 |
CN112528959A (zh) * | 2020-12-29 | 2021-03-19 | 上海同温层智能科技有限公司 | 用于清洁机器人的障碍物识别方法 |
CN112528959B (zh) * | 2020-12-29 | 2024-06-07 | 上海同温层信息科技有限公司 | 用于清洁机器人的障碍物识别方法 |
WO2022166067A1 (zh) * | 2021-02-04 | 2022-08-11 | 武汉工程大学 | 一种多机重载搬运机器人协同牵引的系统与方法 |
CN112947435A (zh) * | 2021-02-04 | 2021-06-11 | 沈阳仪表科学研究院有限公司 | 一种用于爬壁机器人的导航控制方法 |
CN113221761A (zh) * | 2021-05-17 | 2021-08-06 | 深圳大学 | 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置 |
CN113221761B (zh) * | 2021-05-17 | 2023-09-05 | 深圳大学 | 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置 |
CN113467455A (zh) * | 2021-07-06 | 2021-10-01 | 河北工业大学 | 多工况未知复杂环境下智能小车路径规划方法及设备 |
CN114932562A (zh) * | 2021-08-10 | 2022-08-23 | 南京航空航天大学 | 一种基于激光雷达的地下电缆隧道巡检机器人及实现方法 |
CN114932562B (zh) * | 2021-08-10 | 2024-04-19 | 南京航空航天大学 | 一种基于激光雷达的地下电缆隧道巡检机器人及实现方法 |
CN113589823A (zh) * | 2021-08-13 | 2021-11-02 | 江苏科技大学 | 一种多移动机器人协同目标搜索方法 |
CN113762140A (zh) * | 2021-09-03 | 2021-12-07 | 上海擎朗智能科技有限公司 | 一种基于机器人的建图方法、电子设备及存储介质 |
CN113762140B (zh) * | 2021-09-03 | 2024-06-07 | 上海擎朗智能科技有限公司 | 一种基于机器人的建图方法、电子设备及存储介质 |
CN114237309A (zh) * | 2021-12-15 | 2022-03-25 | 新奥数能科技有限公司 | 一种光伏组件的角度调节方法和装置 |
CN114355910A (zh) * | 2021-12-23 | 2022-04-15 | 西安建筑科技大学 | 一种基于Jetson Nano的室内机器人自主建图导航系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109917818B (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109917818A (zh) | 基于地面机器人的协同搜索围堵方法 | |
US11501527B2 (en) | Visual-inertial positional awareness for autonomous and non-autonomous tracking | |
Xiao et al. | Dynamic-SLAM: Semantic monocular visual localization and mapping based on deep learning in dynamic environment | |
US11948369B2 (en) | Visual-inertial positional awareness for autonomous and non-autonomous mapping | |
CN105405154B (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
CN103389699B (zh) | 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法 | |
Oskiper et al. | Visual odometry system using multiple stereo cameras and inertial measurement unit | |
WO2013027628A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
EP3428760B1 (en) | Mapping optimization in autonomous and non-autonomous platforms | |
CN111176309B (zh) | 一种基于球面成像的多无人机自组群互感理解方法 | |
Gao et al. | Stereo visual SLAM for autonomous vehicles: A review | |
Xu et al. | A scene-adaptive descriptor for visual SLAM-based locating applications in built environments | |
Best et al. | Cognitive agents interacting in real and virtual worlds | |
CN102853830A (zh) | 一种基于一般物体识别的机器人视觉导航方法 | |
Qian et al. | Wearable-assisted localization and inspection guidance system using egocentric stereo cameras | |
WO2022261381A9 (en) | Localization processing service | |
Wang et al. | A visual navigation framework for the aerial recovery of UAVs | |
Pandey et al. | Efficient 6-dof tracking of handheld objects from an egocentric viewpoint | |
Wang et al. | Application of UAV target tracking based on computer vision | |
Lyu et al. | Badminton Path Tracking Algorithm Based on Computer Vision and Ball Speed Analysis | |
Martínez-Zarzuela et al. | Action recognition system based on human body tracking with depth images | |
Pandey et al. | Egocentric 6-DoF tracking of small handheld objects | |
Abbate et al. | Pointing at moving robots: Detecting events from wrist IMU data | |
Hou et al. | Dynamic Target Tracking and Localization for Small UAV in Unstructured Outdoor Environment | |
CN117340914B (zh) | 一种仿人机器人体感控制方法及控制系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |