CN111558210A - 一种全自动捡球机器人的捡球方法及全自动捡球机器人 - Google Patents

一种全自动捡球机器人的捡球方法及全自动捡球机器人 Download PDF

Info

Publication number
CN111558210A
CN111558210A CN201910891959.1A CN201910891959A CN111558210A CN 111558210 A CN111558210 A CN 111558210A CN 201910891959 A CN201910891959 A CN 201910891959A CN 111558210 A CN111558210 A CN 111558210A
Authority
CN
China
Prior art keywords
sphere
robot body
robot
ball picking
ball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910891959.1A
Other languages
English (en)
Inventor
侯晓磊
刘保荣
蔡国栋
杨锋
胡新雨
聂弘毅
倪瑾杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201910891959.1A priority Critical patent/CN111558210A/zh
Publication of CN111558210A publication Critical patent/CN111558210A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B47/00Devices for handling or treating balls, e.g. for holding or carrying balls
    • A63B47/02Devices for handling or treating balls, e.g. for holding or carrying balls for picking-up or collecting
    • A63B47/021Devices for handling or treating balls, e.g. for holding or carrying balls for picking-up or collecting for picking-up automatically, e.g. by apparatus moving over the playing surface
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/04Badminton

Abstract

本发明公开了一种全自动捡球机器人的捡球方法,如下:步骤a、定位系统对机器人本体的周围环境进行地图构建,并确定机器人本体在地图中的位置;步骤b、视觉检测系统拍摄得到机器人本体的周围环境的图像,根据颜色和形状信息识别出图像中是否有球体,如果有球体,则利用深度信息计算出各球体与机器人本体的相对位置;步骤c、机器人本体在地图中的位置和各球体与机器人本体的相对位置规划出朝向球体的全局路径和局部路径,并向底层驱动系统发送速度指令;步骤d、底层驱动系统对速度指令进行解算,用解算后的信息来控制机械系统的移动、姿态与捡球;通过自身和球体的定位,规划路径,路径规划精确,并结合导航系统,实现了自主导航和路径规划。

Description

一种全自动捡球机器人的捡球方法及全自动捡球机器人
【技术领域】
本发明属于机器人技术领域,尤其涉及一种全自动捡球机器人的捡球方法及全自动捡球机器人。
【背景技术】
网球、乒乓球运动作为盛行于全世界的球类运动,运动量可灵活调节,是很好的有氧运动,并且还可以锻炼思维及反应速度,所以现在喜欢这两种种运动的人越来越多。但在练习打球时,为了节省比赛或训练时间,场地上通常会放置多个球,球被使用后散落于运动场的各个角落,往往比赛完毕或训练完毕后需要专人对球实施回收,不仅浪费体力,而且捡球的效率不高。
现对于捡球问题主要有以下几种方式:
1.人工捡球,这是一种较为常用的捡球方式,这种捡球方式就是,耗费人力,每个球场至少安排一人捡球,这样捡球人员工作量较大,且消耗体力较多。
2.人工加捡球工具,包括捡球车和捡球器等,如专利号为200320128160.1,专利名称为易于移动及捡球的网球捡球篮;专利号为201620407372.0,专利名称为一种便携筒状网球捡球器;专利号为201520503738.X,专利名称为一种圆筒形网球捡球器等,这类捡球方式虽相较于完全人工捡球提高效率,但还是得人工参加,也是每个球场至少安排一人捡球,这样的人也是人力投入较大。
3.自主捡网球机器人,如专利号为200810183233.4,专利名称为自主捡球机器人;及专利号为201520990978.7,专利名称为一种可远程遥控的网球捡球器等,此类捡球方式要么效率较低,智能性较差;要么需对整个训练场建立复杂监控系统再配合捡球,包括上位机,捡球系统,数据采集系统等,这类捡球方式本身成本较高,具对场地有局限性,只能在固定场使用。
因此,针对当前捡球效率不高、人力成本较大以及现有捡球工具缺乏等问题,需要设计出使用方便,成本较低,智能化高,适合多种场景的捡球工具。
【发明内容】
本发明的目的是提供一种全自动捡球机器人的捡球方法及全自动捡球机器人,能够实现精确、小直径的转弯,通过自身和球体的定位,规划路径,路径规划精确,并结合导航系统,实现了自主导航和路径规划。
本发明采用以下技术方案:一种全自动捡球机器人的捡球方法,该全自动捡球机器人包括机械系统、底层驱动系、定位系统、导航系统和视觉检测系统;机械系统为机器人本体;
该捡球方法如下:
步骤a、定位系统对机器人本体的周围环境进行地图构建,并确定机器人本体在地图中的位置;
步骤b、视觉检测系统拍摄得到机器人本体的周围环境的图像,根据颜色和形状信息识别出图像中是否有球体,如果有球体,则利用深度信息计算出各球体与机器人本体的相对位置;如果没有球体,则停止工作;
步骤c、导航系统据步骤a中的机器人本体在地图中的位置和步骤b中的各球体与机器人本体的相对位置规划出朝向球体的全局路径和局部路径,并向底层驱动系统发送速度指令;
步骤d、底层驱动系统对速度指令进行解算,用解算后的信息来控制机械系统的移动、姿态与捡球;
步骤e、在机械系统的移动过程中,每间隔一时间段,重复步骤b,判断经过移动之后是否有距离其更近的球体;当没有更近的球体时,机器人本体沿原路径运动,直至到达目标球体处,采用图10中的收集装置收集球体;该收集装置即是由机器人本体中的球体运动坡道2、旋转叶轮1、旋转叶片9、储球筐5组成。
当有更近的球体时,重复步骤c-d。
进一步地,该步骤b的具体过程如下:
视觉检测系统采用深度相机,使用深度相机拍摄一张机器人周围的RGB图像和深度图像;
底层驱动系获取RGB图像和深度图像后,首先将RGB图像转换到HSV颜色空间中,使用OpenCV代码库中相应的函数来读取HSV空间下球体各个像素位置的色调与饱和度的值,并分别存储色调与饱和度的最大值与最小值,以对应的最大值和最小值分别作为色调与饱和度的高低阈值;
然后根据色调与饱和度的高低阈值,筛选出符合球体颜色特征的区域,并二值化;在形态学闭操作中,采用圆形算子对二值化的图像进行去噪和边缘修补,得处理后的图像;使用Canny算子对处理后的图像进行边缘检测,然后用霍夫圆检测的方法来识别经过边缘检测后的图像中是否有球体,若检测出球体,则将球体的圆心在RGB图象中的坐标存储在上位机中;
最后,对深度图像处理,根据球体在RGB图像中的位置得到球体和深度相机间的直线距离D,由直线距离和球体在RGB图像中的坐标算出球体和机器人本体间的角度;通过直线距离和角度得出球体相对于机器人本体的位置坐标。
进一步地,该求解球体相对于机器人本体的位置坐标的过程如下:
构建方程(1),由方程(1)得到位置坐标:
Figure RE-GDA0002551922620000041
其中:xp与yp分别为球体中心相对于机器人本体的位置坐标;θb为球体中心点偏离机器人本体中线的角度,中线的规定为:竖直穿过机器人本体中心的轴线;θω为深度相机视场的角度,N为RGB图像中的单行像素点总个数,Xl为球体中心点的横坐标,D为由深度相机得出的球体中心距机器人本体中心的直线距离。
进一步地,该步骤c的过程如下:导航系统采用激光雷达,采用Hector-SLAM 算法对机器人周边图片进行处理,得到了应用场景的二维栅格地图,把机器人本体在地图中的位置和目标球体距离机器人本体的坐标位置映射到二维栅格地图中,得到机器人本体和目标球体在该二维栅格图像中的位置关系;采用A*算法规划出机器人本体运动到目标球体的全局路径;
采用DWA对机器人本体的线速度和角速度采样,对机器人本体到达目标球体的多条局部路径进行仿真,确定出局部最优路径。
进一步地,在步骤e中,每间隔0.3s,重复步骤b;
当机器人本体到达距离目标球体0.2米的距离时,开始启动收集,并在机器人到达目标球体位置的三秒后停止。
本发明还公开了一种全自动捡球机器人的捡球方法中使用的全自动捡球机器人,机器人本体包括:球体运动坡道,为一板体,从前到后由下到上倾斜设置;
两个旋转叶轮,对称设置于球体运动坡道前端的左右两侧;
储球筐,设置于球体运动坡道的后端,为一中空壳体,且壳体的前侧板上开设有进球口,与球体运动坡道后端的位置相对应;
旋转叶片,为多个,位于两个旋转叶轮间的空间内,且绕旋转叶轮的周向间隔排布,各旋转叶片的左右两端均与对应侧的旋转叶轮相连接;
底盘,为一水平板体,其后段用于承载储球筐,其前段位于球体运动坡道后段的下部,前端与球体运动坡道相连接;
两个驱动轮,独立且对称设置于球体运动坡道前端的左右两侧,均各连接有一无刷电机,以实现两个旋转叶轮的独立工作;连接两个旋转叶轮的中心,连接线的中点位于机器人本体的中心点的位置;一个万向轮,位于底盘后段的底部。
进一步地,底层驱动系统包括:上位机、下位机、两个无刷电机、两个电调、有刷电机、惯性测量单元和编码器;
上位机,和下位机串口连接,用于向下位机发送指令;
下位机,通过编码器与驱动轮相连接,用于接收编码器发送的;还与惯性测量单元相连接,用于接收惯性测量单元检测的机器人本体的行驶速度、位置、转向角度及速度;
下位机还与各电调相连接,各电调均与一个对应的无刷电机相连接,无刷电机与驱动轮相连接;用于将转速传输至各电调,并控制无刷电机的频率,以控制驱动轮的转速;
下位机还与有刷电机相连接,有刷电机用于与旋转叶轮相连接,用于控制旋转叶轮的转速。
进一步地,该定位系统选用Rplidar A3激光雷达,Rplidar A3激光雷达设置于机器人本体上部的中心位置,且与上位机相连接。
进一步地,该视觉检测系统选用深度相机,设置于机器人本体上部,与上位机相连接。
本发明的有益效果是:1.采用两个驱动轮和一个万向轮的结构,且设置的位置确定,其中双轮驱动实现行驶和差速转向,能够实现小半径的转弯;单万向轮保证转向的灵活性和车体运动的稳定性。2.采用深度相机实现对环境中球体的精准识别和定位,在识别目标确定方位的同时能够确定与目标之间的距离。3.采用激光雷达的SLAM算法,在定位的同时可以生成路径规划时需要使用的占用栅格地图,实现机器人的自主导航和路径规划。
【附图说明】
图1为本发明的系统结构图。
图2为本发明实施例的结构示意图。
图3为底盘的结构示意图。
图4为底盘及旋转叶片的俯视图。
图5为驱动轮及无刷电机安装结构的立体示意图。
图6为驱动系统的结构框图。
图7为视觉检测系统的工作流程框图。
图8为视觉检测系统中的各步骤的具体实现;
8a为图像在HSV空间显示的效果图。
8b为阈值的选取操作的示意图。
8c为对HSV图像按阈值筛选的效果图。
8d为二值化操作的效果图。
8e为对二值图进行形态学操作的效果图。
8f为对二值图进行边缘检测的效果图。
8g为对边缘检测后的图像进行Hough圆检测的效果图。
8h为有遮挡的情况下网球检测的效果图。
图9为定位系统中利用Hector-slam得到的地图。
图10为一种全自动捡球机器人的捡球流程图。
图11为捡球过程中对球体的识别检测;
11a为在初始时刻对网球的识别检测。
11b为在捡球过程中对(a)中网球的再次检测。
图12为捡球过程中机器人的导航过程;
12a为在初始时刻识别到网球后进行的路径规划。
12b为在捡球过程中规划路径的更新。
图13为捡球过程中的机器人运动参数统计图;
13a为整个捡球过程中,机器人x轴和y轴方向位置和转角随时间的变化图。
13b为整个捡球过程中,机器人的实际运动路线图。
其中:A、定位系统;B、视觉检测系统、C、导航系统;D、机械系统;E、底层驱动系统;E-1、下位机;E-5、电调;E-3、性测量单元、E-4、编码器;E-5、电调;E-6、无刷电机;E-7、上位机;
1.旋转叶轮;2.球体运动坡道;3.驱动轮;4.万向轮;5.储球筐;6.激光雷达; 7.深度相机;8.底盘;9.旋转叶片,10.无刷电机。
【具体实施方式】
下面结合附图和具体实施方式对本发明进行详细说明。
一种全自动捡球机器人的捡球方法,该全自动捡球机器人包括机械系统D、底层驱动系E、定位系统A、导航系统C和视觉检测系统B;所述机械系统D为机器人本体;
如图1和10所示,该捡球方法如下:
步骤a、所述定位系统A对所述机器人本体的周围环境进行地图构建,并确定机器人本体在地图中的位置;
步骤b、所述视觉检测系统B拍摄得到机器人本体的周围环境的图像,根据颜色和形状信息识别出图像中是否有球体,如果有球体,则利用深度信息计算出各球体与机器人本体的相对位置;如果没有球体,则停止工作;
步骤c、所述导航系统C据步骤a中的机器人本体在地图中的位置和步骤b 中的各球体与机器人本体的相对位置规划出朝向球体的全局路径和局部路径,并向所述底层驱动系统E发送速度指令;
步骤d、所述底层驱动系统E对速度指令进行解算,用解算后的信息来控制所述机械系统D的移动、姿态与捡球;
底层驱动系统E的控制分为驱动轮3的无刷电机的PID控制,和旋转叶轮1 的直流电机的开环控制。由于收旋转叶轮1不需要精准的速度控制,因此该直流电机为开环控制,由开发板输出固定的占空比来控制直流电机的转动。
为了保证机器人的运动精准可控,驱动轮3需要精准的速度控制。因此在开发板上构建PID控制器对无刷电机进行闭环控制。利用CAN通信将PID控制器输出的控制信息发送给电调,通过电调控制无刷电机驱动底盘的驱动轮转动,利用无刷电机的EMF过零检测和大疆官方提供的SDK实现对无刷电机转速的估计。根据已知的无刷电机E-6减速比可以得出两个驱动轮3的实际转速。再利用公式可以从计算出机器人本体运动过程中的线速度和角速度:
Figure RE-GDA0002551922620000081
其中:ωr和ωr分别为左轮和右轮各自的转速,rw和l分别是驱动轮的半径以及两个驱动轮间的距离。将线速度和角速度和MPU6500中得到的惯性信息进行互补滤波,使得到的速度值更加准确。将速度值作为反馈信息输入PID控制器,使得控制更加精准。
步骤e、在所述机械系统D的移动过程中,每间隔一时间段,重复步骤b,判断经过移动之后是否有距离其更近的球体;当没有更近的球体时,所述机器人本体沿原路径运动,直至到达目标球体处,并收集球体;
当有更近的球体时,重复步骤c-d。
上述步骤b的具体过程如下:
所述视觉检测系统B采用深度相机7,使用所述深度相机7拍摄一张机器人周围的RGB图像和深度图像;
所述底层驱动系E中的上位机E-7获取所述RGB图像和深度图像后,首先将 RGB图像转换到HSV颜色空间中,使用OpenCV代码库中相应的函数来读取 HSV空间下球体各个像素位置的色调与饱和度的值,并分别存储色调与饱和度的最大值与最小值,以对应的最大值和最小值分别作为色调与饱和度的高低阈值;如图8b。
然后根据所述色调与饱和度的高低阈值,筛选出符合球体颜色特征的区域,如图8c;并二值化,如图8d;在形态学闭操作中,采用圆形算子对二值化的图像进行去噪和边缘修补,得处理后的图像,如图8e;使用Canny算子对处理后的图像进行边缘检测,如图8f;然后用霍夫圆检测的方法来识别经过边缘检测后的图像中是否有球体,如图8g;若检测出球体,则将球体的圆心在RGB图象中的坐标存储在上位机中;由图8h可以得出,在球体相互遮挡严重的情况下,视觉检测的效果依然精准。
最后,对所述深度图像处理,根据球体在RGB图像中的位置得到球体和深度相机间的直线距离D,由直线距离和球体在RGB图像中的坐标算出球体和机器人本体间的角度;通过直线距离和角度得出球体相对于机器人本体的位置坐标。
求解球体相对于机器人本体的位置坐标的过程如下:
构建方程(1),由方程(1)得到位置坐标:
Figure RE-GDA0002551922620000101
其中:xp与yp分别为球体中心相对于机器人本体的位置坐标;θb为球体中心点偏离机器人本体中线的角度,中线的规定为:竖直穿过机器人本体中心的轴线;θω为深度相机视场的角度,N为RGB图像中的单行像素点总个数,Xl为球体中心点的横坐标,D为由深度相机得出的球体中心距机器人本体中心的直线距离。
上述步骤c的过程如下:导航系统C采用激光雷达6,采用Hector-SLAM算法对机器人周边图片进行处理,得到了应用场景的二维栅格地图,把机器人本体在地图中的位置和目标球体距离机器人本体的坐标位置映射到所述二维栅格地图中,得到机器人本体和目标球体在该二维栅格图像中的位置关系;采用A*算法规划出机器人本体运动到目标球体的全局路径;如图9所示。
采用DWA对机器人本体的线速度和角速度采样,对机器人本体到达目标球体的多条局部路径进行仿真,确定出局部最优路径。
在步骤e中,每间隔0.3s,重复步骤b;当机器人本体到达距离目标球体0.2 米的距离时,开始启动收集,并在机器人到达目标球体位置的三秒后停止。
本发明实施例公开了一种全自动捡球机器人,如图1、2、3、4和5所示,包括机械系统D、底层驱动系统E、定位系统A、导航系统C和视觉检测系统B;机械系统D,为机器人本体;机器人本体包括:球体运动坡道2,为一板体,从前到后由下到上倾斜设置;两个旋转叶轮1,对称设置于球体运动坡道2前端的左右两侧;储球筐5,设置于球体运动坡道2的后端,为一中空壳体,且壳体的前侧板上开设有进球口,与球体运动坡道2后端的位置相对应;旋转叶片9,为多个,位于两个旋转叶轮1间的空间内,且绕旋转叶轮1的周向间隔排布,各旋转叶片9的左右两端均与对应侧的旋转叶轮1相连接;旋转叶片9由弹性绳编织而成,与网球直接接触,将其拨打进入收集筐中,可以有效的减少收集时球体的弹跳,保证了旋转叶轮1的轻便低风阻的特点。
由于传统的四轮结构的驱动结构的灵活度不好,并且控制繁琐,所以本申请中采用双轮差速驱动加万向轮的三轮结构。为了保证机器人本体转向的快速性以及控制简易,需要保证驱动轮3的轴心位于整个机器人本体的重心位置,万向轮 4位于底盘8的后端。底盘8,为一水平板体,其后段用于承载储球筐5,其前段位于球体运动坡道2后段的下部,前端与球体运动坡道2相连接;两个驱动轮3,独立且对称设置于球体运动坡道2前端的左右两侧,均各连接有一无刷电机10,以实现两个驱动轮3的独立工作;连接两个驱动轮3的中心,连接线的中点位于机器人本体的中心点的位置。一个万向轮4,位于底盘8后段的底部。
机器人本体采用了两个独立设置的驱动轮3,能够独立的设置一个驱动轮3 的速度,实现行驶和差速转向。通过控制两个驱动轮3的不同的速度,能实现小半径的转弯,能够实现绕中心点转动。
为了实现机器人本体的动作,设置了底层驱动系统E,如图6所示,包括:上位机E-7、下位机E-1、两个无刷电机10、两个电调E-5、有刷电机E-2、惯性测量单元E-3和编码器E-4;上位机E-7,和下位机E-1串口连接,用于向下位机 E-1发送指令;下位机E-1,通过编码器E-4与驱动轮3相连接,用于接收编码器E-4发送的;还与惯性测量单元E-3相连接,用于接收惯性测量单元E-3检测的机器人本体的行驶速度、位置、转向角度及速度;下位机E-1还与各电调E-5 相连接,各电调E-5均与一个对应的无刷电机E-6相连接,无刷电机E-6与驱动轮3相连接;用于将转速传输至各电调E-5,并控制无刷电机10的频率,以控制驱动轮3的转速;下位机E-1还与有刷电机E-2相连接,有刷电机E-2用于与旋转叶轮1相连接,用于控制旋转叶轮1的转速。无刷电机E-6的减速比为36:1。
下位机E-1选用大疆的Robomaster A型开发板,无刷电机E-6选用大疆 M2006,电调E-5选用大疆C610,惯性测量单元E-3的型号为MPU6500,为一种传感器。
为确定机器人本体在环境中的准确位置,实现自主导航和路径规划,还设置了定位系统A,用于对机器人本体的周围环境进行地图构建,并确定机器人本体在地图中的位置;定位系统A选用Rplidar A3激光雷达,Rplidar A3激光雷达设置于机器人本体上部的中心位置,且与上位机E-7相连接。
本发明基于视觉进行识别目标以及目标位置确定,如图7所示,设定视觉检测系统B,视觉检测系统B选用深度相机7,设置于机器人本体上部,与上位机 E-7相连接。用于拍摄机器人周围的RGB图像和深度图像,根据球体的颜色和形状信息识别出RGB图像中的球体;利用球体到视觉检测系统B间的直线距离计算出各球体与机器人本体的相对位置。导航系统C,与定位系统A和视觉检测系统B相连接,根据机器人本体在地图中的位置和各球体与机器人本体的相对位置规划出一条捡球路径,并向底层驱动系统E发送速度指令;底层驱动系统E,用于接收导航系统C发送的速度指令,并对速度指令进行解算,用解算后的信息来控制机器人本体的姿态、移动与捡球。
以下为网球收集实验的具体过程,乒乓球收集过程与网球相同。
当机器人开始运行后便自主的在场地中进行运动和地图构建。与此同时,视觉检测系统实时的检测相机视场内是否有网球,如果检测到网球,如图12a示,就将网球的坐标作为导航的终点发送给导航系统,导航系统以此进行全局路径和局部路径的规划,如图12a所示,并根据局部路径将速度指令发布给底层驱动系统。为了保证网球收集的效率,机器人每隔3秒便会重新进行一次图像检测,如图12b所示,判断经过移动之后是否有在自身前进方向距自身更近的球,并以此来重新规划路径,如图12所示。当机器人到达距离目标网球0.2米的距离时,网球收集转置开始启动,并在机器人到达目标网球位置的三秒后停止。当机器人到达目标网球的位置后便开始下一次的网球收集工作,具体流程和上述步骤一致。当机器人在五分钟内没有检测到网球后,就停止工作,网球检测工作结束。图13 中13a所记录的为机器人在本次实验中,机器人在捡第一个网球过程中x轴和y 轴方向位置和转角随时间的变化图。图13中13b所记录的是本次实验中机器人在捡第一个网球时的实际路线。
由实验可以证明,本发明具有自主收集网球的能力,达到了本发明的实际目的即提供一种全自主捡球机器人,用于解决已有的网球和乒乓球收集效率低、检测精确度不够以及没有自主导航和路径规划能力的问题。

Claims (9)

1.一种全自动捡球机器人的捡球方法,其特征在于,该全自动捡球机器人包括机械系统(D)、底层驱动系(E)、定位系统(A)、导航系统(C)和视觉检测系统(B);所述机械系统(D)为机器人本体;
该捡球方法如下:
步骤a、所述定位系统(A)对所述机器人本体的周围环境进行地图构建,并确定机器人本体在地图中的位置;
步骤b、所述视觉检测系统(B)拍摄得到机器人本体的周围环境的图像,根据颜色和形状信息识别出图像中是否有球体,如果有球体,则利用深度信息计算出各球体与机器人本体的相对位置;如果没有球体,则停止工作;
步骤c、所述导航系统(C)据步骤a中的机器人本体在地图中的位置和步骤b中的各球体与机器人本体的相对位置规划出朝向球体的全局路径和局部路径,并向所述底层驱动系统(E)发送速度指令;
步骤d、所述底层驱动系统(E)对速度指令进行解算,用解算后的信息来控制所述机械系统(D)的移动、姿态与捡球;
步骤e、在所述机械系统(D)的移动过程中,每间隔一时间段,重复步骤b,判断经过移动之后是否有距离其更近的球体;当没有更近的球体时,所述机器人本体沿原路径运动,直至到达目标球体处,并收集球体;
当有更近的球体时,重复步骤c-d。
2.根据权利要求1所述的一种全自动捡球机器人的捡球方法,其特征在于,所述步骤b的具体过程如下:
所述视觉检测系统(B)采用深度相机(7),使用所述深度相机(7)拍摄一张机器人周围的RGB图像和深度图像;
所述底层驱动系(E)获取所述RGB图像和深度图像后,首先将RGB图像转换到HSV颜色空间中,使用OpenCV代码库中相应的函数来读取HSV空间下球体各个像素位置的色调与饱和度的值,并分别存储色调与饱和度的最大值与最小值,以对应的最大值和最小值分别作为色调与饱和度的高低阈值;
然后根据所述色调与饱和度的高低阈值,筛选出符合球体颜色特征的区域,并二值化;在形态学闭操作中,采用圆形算子对二值化的图像进行去噪和边缘修补,得处理后的图像;使用Canny算子对处理后的图像进行边缘检测,然后用霍夫圆检测的方法来识别经过边缘检测后的图像中是否有球体,若检测出球体,则将球体的圆心在RGB图象中的坐标存储在上位机中;
最后,对所述深度图像处理,根据球体在RGB图像中的位置得到球体和深度相机间的直线距离D,由直线距离和球体在RGB图像中的坐标算出球体和机器人本体间的角度;通过直线距离和角度得出球体相对于机器人本体的位置坐标。
3.根据权利要求2所述的一种全自动捡球机器人的捡球方式,其特征在于,求解球体相对于机器人本体的位置坐标的过程如下:
构建方程(1),由方程(1)得到位置坐标:
Figure RE-FDA0002426980870000021
其中:xp与yp分别为球体中心相对于机器人本体的位置坐标;θb为球体中心点偏离机器人本体中线的角度,中线的规定为:竖直穿过机器人本体中心的轴线;θω为深度相机视场的角度,N为RGB图像中的单行像素点总个数,Xl为球体中心点的横坐标,D为由深度相机得出的球体中心距机器人本体中心的直线距离。
4.根据权利要求3所述的一种全自动捡球机器人的捡球方法,其特征在于,所述步骤c的过程如下:所述导航系统(C)采用激光雷达(6),采用Hector-SLAM算法对机器人周边图片进行处理,得到了应用场景的二维栅格地图,把机器人本体在地图中的位置和目标球体距离机器人本体的坐标位置映射到所述二维栅格地图中,得到机器人本体和目标球体在该二维栅格图像中的位置关系;采用A*算法规划出机器人本体运动到目标球体的全局路径;
采用DWA对机器人本体的线速度和角速度采样,对机器人本体到达目标球体的多条局部路径进行仿真,确定出局部最优路径。
5.根据权利要求1-4中任一项所述的一种全自动捡球机器人的捡球方法,其特征在于,在所述步骤e中,每间隔0.3s,重复步骤b;
当机器人本体到达距离目标球体0.2米的距离时,开始启动收集,并在机器人到达目标球体位置的三秒后停止。
6.根据权利要求1-5中所述一种全自动捡球机器人的捡球方法使用的全自动捡球机器人,其特征在于,所述机器人本体包括:
球体运动坡道(2),为一板体,从前到后由下到上倾斜设置;
两个旋转叶轮(1),对称设置于所述球体运动坡道(2)前端的左右两侧;
储球筐(5),设置于所述球体运动坡道(2)的后端,为一中空壳体,且壳体的前侧板上开设有进球口,与所述球体运动坡道(2)后端的位置相对应;
旋转叶片(9),为多个,位于两个旋转叶轮(1)间的空间内,且绕所述旋转叶轮(1)的周向间隔排布,各所述旋转叶片(9)的左右两端均与对应侧的旋转叶轮(1)相连接;
底盘(8),为一水平板体,其后段用于承载所述储球筐(5),其前段位于所述球体运动坡道(2)后段的下部,前端与所述球体运动坡道(2)相连接;
两个驱动轮(3),独立且对称设置于所述球体运动坡道(2)前端的左右两侧,均各连接有一无刷电机(10),以实现两个所述旋转叶轮(1)的独立工作;连接两个所述旋转叶轮(1)的中心,连接线的中点位于所述机器人本体的中心点的位置;
一个万向轮(4),位于所述底盘(8)后段的底部。
7.根据权利要求6所述的全自动捡球机器人,其特征在于,所述底层驱动系统(E)包括:上位机(E-7)、下位机(E-1)、两个无刷电机(10)、两个电调(E-5)、有刷电机(E-2)、惯性测量单元(E-3)和编码器(E-4);
所述上位机(E-7),和下位机(E-1)串口连接,用于向下位机(E-1)发送指令;
所述下位机(E-1),通过编码器(E-4)与驱所述动轮(3)相连接,用于接收所述编码器(E-4)发送的;还与惯性测量单元(E-3)相连接,用于接收所述惯性测量单元(E-3)检测的机器人本体的行驶速度、位置、转向角度及速度;
所述下位机(E-1)还与各电调(E-5)相连接,各电调(E-5)均与一个对应的无刷电机(E-6)相连接,所述无刷电机(E-6)与驱动轮(3)相连接;用于将转速传输至各电调(E-5),并控制所述无刷电机(10)的频率,以控制所述驱动轮(3)的转速;
所述下位机(E-1)还与有刷电机(E-2)相连接,所述有刷电机(E-2)用于与旋转叶轮(1)相连接,用于控制所述旋转叶轮(1)的转速。
8.根据权利要求7所述的全自动捡球机器人,其特征在于,所述定位系统(A)选用Rplidar A3激光雷达,所述Rplidar A3激光雷达设置于所述机器人本体上部的中心位置,且与上位机(E-7)相连接。
9.根据权利要求8所述的一种全自动捡球机器人,其特征在于,所述视觉检测系统(B)选用深度相机(7),设置于所述机器人本体上部,与所述上位机(E-7)相连接。
CN201910891959.1A 2019-09-20 2019-09-20 一种全自动捡球机器人的捡球方法及全自动捡球机器人 Pending CN111558210A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910891959.1A CN111558210A (zh) 2019-09-20 2019-09-20 一种全自动捡球机器人的捡球方法及全自动捡球机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910891959.1A CN111558210A (zh) 2019-09-20 2019-09-20 一种全自动捡球机器人的捡球方法及全自动捡球机器人

Publications (1)

Publication Number Publication Date
CN111558210A true CN111558210A (zh) 2020-08-21

Family

ID=72068494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910891959.1A Pending CN111558210A (zh) 2019-09-20 2019-09-20 一种全自动捡球机器人的捡球方法及全自动捡球机器人

Country Status (1)

Country Link
CN (1) CN111558210A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112587884A (zh) * 2020-12-24 2021-04-02 烟台南山学院 一种基于单目视觉的全自动捡球机器人的捡球方法
CN113370206A (zh) * 2021-05-13 2021-09-10 中国地质大学(武汉) 擂台机器人重新登台方法、控制系统和擂台机器人
CN114307100A (zh) * 2021-12-25 2022-04-12 长安大学 一种基于自动巡航机器人的投篮训练方法及系统
CN114888799A (zh) * 2022-05-11 2022-08-12 沈阳大学 一种基于视觉定位捡球机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
CN102023641A (zh) * 2009-05-20 2011-04-20 范钦雄 行动机器人与其目标物处理路径的规划方法
CN103446728A (zh) * 2013-07-02 2013-12-18 南京工业职业技术学院 一种捡球装置
CN107284544A (zh) * 2017-07-30 2017-10-24 福州大学 一种多功能的通用移动机器人底盘及其应用方法
US20180312095A1 (en) * 2015-02-25 2018-11-01 Haitham Eletrabi Dual Functional Robot And Storage Bin
CN110090410A (zh) * 2019-05-07 2019-08-06 东北师范大学 一种捡球机器人及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
CN102023641A (zh) * 2009-05-20 2011-04-20 范钦雄 行动机器人与其目标物处理路径的规划方法
CN103446728A (zh) * 2013-07-02 2013-12-18 南京工业职业技术学院 一种捡球装置
US20180312095A1 (en) * 2015-02-25 2018-11-01 Haitham Eletrabi Dual Functional Robot And Storage Bin
CN107284544A (zh) * 2017-07-30 2017-10-24 福州大学 一种多功能的通用移动机器人底盘及其应用方法
CN110090410A (zh) * 2019-05-07 2019-08-06 东北师范大学 一种捡球机器人及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
本书编委会: "《卫星导航定位与北斗系统应用 深化北斗应用•促进产业发展 2018版》", 31 August 2018 *
陆新征: "《第26届全国结构工程学术会议论文集 第3册》", 30 September 2017 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112587884A (zh) * 2020-12-24 2021-04-02 烟台南山学院 一种基于单目视觉的全自动捡球机器人的捡球方法
CN113370206A (zh) * 2021-05-13 2021-09-10 中国地质大学(武汉) 擂台机器人重新登台方法、控制系统和擂台机器人
CN114307100A (zh) * 2021-12-25 2022-04-12 长安大学 一种基于自动巡航机器人的投篮训练方法及系统
CN114888799A (zh) * 2022-05-11 2022-08-12 沈阳大学 一种基于视觉定位捡球机器人

Similar Documents

Publication Publication Date Title
CN111558210A (zh) 一种全自动捡球机器人的捡球方法及全自动捡球机器人
CN111035327B (zh) 清洁机器人、地毯检测方法及计算机可读存储介质
CN103019024B (zh) 实时精确观测和分析乒乓球旋转系统与系统运行方法
CN106863332B (zh) 一种机器人视觉定位方法及系统
CN105209997A (zh) 用于朝向驳接台站引导自主车辆的装置
CN101537618A (zh) 体育场捡球机器人视觉系统
CN109954254B (zh) 基于全向来福轮的羽毛球场智能捡球机器人
CN102688587A (zh) 射箭计分系统
CN111571618A (zh) 一种基于视觉算法的自主捡拾机器人及其捡拾方法
Chen et al. Visual measurement of the racket trajectory in spinning ball striking for table tennis player
CN109760070A (zh) 机器人电梯按键定位控制方法及系统
CN108579030A (zh) 一种基于视觉的机器人拾球方法
CN211933898U (zh) 清洁机器人
CN108536146A (zh) 基于路径和rssi的移动机器人定位充电基座的智能控制方法
CN109729835A (zh) 一种基于双目视觉的油茶果采摘系统及控制方法
Perera et al. Development of a Vision Aided Automated Ball Retrieving Robot for Tennis Training Sessions
CN115501560A (zh) 一种智能乒乓球捡球装置及方法
Novak et al. Simple stereo vision system for real-time object recognition for an autonomous mobile robot
Asami et al. Visual navigation system based on evolutionary computation on FPGA for patrol service robot
CN107363831A (zh) 基于视觉的遥操作机器人控制系统及方法
CN108364542A (zh) 叉车场地考试位置检测与判定装置及其方法
CN112494915A (zh) 一种羽毛球机器人及其系统和控制方法
Mardiyah et al. Autonomous mobile soccer robot localization using particle filter through Omni-vision
Wu et al. Design and implementation of a prototype vision-guided golf-ball collecting mobile robot
CN112973049A (zh) 基于视觉传感器的网球捡拾机器人及网球捡拾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200821

RJ01 Rejection of invention patent application after publication