CN109333549B - 一种基于机器视觉的乒乓球拾取移动机器人及控制方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的乒乓球拾取移动机器人及控制方法，公开移动机器人包括视觉检测模块，用于采集周围环境图像和待拾取乒乓球图像；数据处理模块，用于对获取图像中的乒乓球进行检测确定乒乓球图像坐标；根据目标球图像坐标确定移动平台运动的角度和速度；将待拾取乒乓球坐标发送给机械手臂控制模块；移动平台控制模块，用于对移动平台的定位与运动环境的建图并进行路径规划，使移动平台向目标物靠近；机械手臂控制模块，用于进行拾球动作，并将球放置在储球模块中；电源模块，用于供电；储球模块，用于储存拾取的乒乓球。能够实现拾取装置结构简单，平台轻巧，占用空间小，自动化程度高，并提高乒乓球识别率，提升拾取准确率和效率。

Description

一种基于机器视觉的乒乓球拾取移动机器人及控制方法

技术领域

本发明涉及到机器人技术领域，尤其涉及一种基于机器视觉的乒乓球拾取移动机器人及控制方法。

背景技术

我国作为体育大国，对体育机器人的需求十分迫切,特别是乒乓球作为我们的国球,技术在世界上处于领先地位。近几年来，国乒运动员们更是为中国的体育事业增添了光彩，在各种竞赛中所向披靡，而在乒乓球室里，训练或者比赛的时候，地面上通常会有很多乒乓球都需要拾取，人工拾球，效率低。对于运动员来说，在高强度的训练中，拾取乒乓球的过程费时费力，浪费了宝贵的训练时间。

为了解决以上问题，出现了很多拾取乒乓球的装置：

专利CN201010559169.2乒乓球拾取车装置，包括带有滚轮的车体，车体的后部设置有把手，车体的上端设置有翻盖，车体内设有空腔，车体的底部设置相互平行的弹性带。该装置未实现机电一体化，需要人工协助完成拾取与收集的动作，而且占地面积大。

专利CN201220718628.1一种乒乓球拾取具的制作方法，包括一根长杆，长杆的长度为80-120cm，只能够将乒乓球一个一个的进行收集，同时还需要人工协助将拾取装置对准乒乓球，使用起来非常不便捷，效率低下，必须通过压紧的方式人工拿取乒乓球，如果力度过大会导致乒乓球损坏，造成不必要的损失。

专利CN201420057233.0一种多用乒乓球拾取架装置，包括柱状拾取圆通、拾取罩、拾取门，单向限位阀门、限位块和衣架连接杆等。该装置结构复杂，制作成本高，需要人工的操作，无法实现自动化的操作。

专利CN201620338456.3一种简易乒乓球拾取器装置，该装置也需要人工操作，自动化程度不高。而且，该装置利用气流压强的不同通过管道收集乒乓球，当气压和压强有变化时，容易使球卡在管道里，完成不了拾取乒乓球的动作。

专利CN201610334157.7一种乒乓球捡拾机器人，其利用乒乓球质量较轻的特点，采用风扇将乒乓球吹动收集的结构，但是它在收集乒乓球时可能会将一些比乒乓球质量轻的杂物和垃圾收集进去，例如地上的纸屑，灰层等，带来了额外的分拣任务；使用红外感应装置通过红外线反射原理感应乒乓球的位置，由于乒乓球体积小，确定乒乓球位置时，红外感应装置需要精确的向乒乓球发射一束红外线，否则会影响乒乓球的拾取，造成误捡和漏检，且该拾取机器人只适合对静止的乒乓球拾取，在外界有干扰的情况下无法精确的抓取。

专利CN201721446774.2一种乒乓球自动拾取装置，该设计包括吸嘴、电源按钮、把手、喉管、机体等，当拾取乒乓球时，需要人工将吸嘴对准乒乓球，按下把手上的电源按钮，将乒乓球吸入装置内，该装置结构比较复杂，需要人工的参与操作，自动化程度不高。

针对目前一些拾取乒乓球的装置存在结构复杂、占地面积大、自动化程度低、拾球效率低、误捡、漏检和只适合静态拾取等这些问题，而且，现有的拾取乒乓球装置绝大多数使用物理方法和机械化方法实现，自动化、智能化程度较低。因此如何能够实现拾取装置结构简单，平台轻巧，占用空间小，自动化程度高，并提高乒乓球识别率，提升拾取准确率和效率，成为本领域技术人员亟待解决的问题。

发明内容

本发明要解决的技术问题是，克服现有技术存在的上述缺陷，提供一种基于机器视觉的乒乓球拾取移动机器人及控制方法，能够实现拾取装置结构简单，平台轻巧，占用空间小，自动化程度高，并提高乒乓球识别率，提升拾取准确率和效率。

本发明提供的一种基于机器视觉的乒乓球拾取移动机器人，包括视觉检测模块、移动平台控制模块、机械手臂控制模块、数据处理模块、电源模块和储球模块，具体为：

所述视觉检测模块，用于采集周围环境图像和待拾取乒乓球图像，并将采集到的图像发送给数据处理模块；

所述数据处理模块，用于对获取图像中的乒乓球进行检测确定目标球图像坐标系下的坐标和待拾取乒乓球的图像坐标系下的坐标；根据目标球图像坐标系下的坐标确定移动平台运动的角度和速度发送给移动平台控制模块；将待拾取乒乓球的在图像坐标系下的坐标转换为机械臂坐标系下的坐标，并将待拾取乒乓球机械臂坐标系下的坐标发送给机械手臂控制模块；

所述移动平台控制模块，用于对移动平台的定位与运动环境的建图并进行路径规划，根据数据处理模块发送移动平台运动的角度和速度使移动平台向目标物靠近；

所述机械手臂控制模块，用于根据待拾取乒乓球机械臂坐标系下的坐标进行拾球动作，并将球放置在储球模块中；

所述电源模块，用于给视觉检测模块、机械手臂控制模块、数据处理模块和移动平台控制模块供电；

所述储球模块，用于储存拾取的乒乓球。

优选地，所述视觉检测模块包括移动平台前端相机和机械手臂末端相机，所述移动平台控制模块包括激光雷达、底层控制器、电机驱动和移动平台，所述机械手臂控制模块包括机械手臂控制器和机械手臂，所述数据处理模块为单片机或电脑或中央处理芯片，所述电源模块为锂电池，所述储球模块为设置在移动平台上的储存框；

所述移动平台前端相机，用于采集周围环境图像并将采集到的图像发送给数据处理模块；

所述机械手臂末端相机，用于采集待拾取乒乓球图像，并将采集到的图像发送给数据处理模块；

所述激光雷达，用于对移动平台的定位与运动环境的建图并进行路径规划；

所述底层控制器，用于控制电机速度及移动平台的转动角度；

所述电机驱动，用于驱动移动平台运动；

所述机械手臂控制器，用于根据待拾取乒乓球机械臂坐标系下的坐标发送控制信号给机械手臂；

机械手臂，用于进行拾球动作，并将球放置在储球模块中。

优选地，所述视觉检测模块、移动平台控制模块和机械手臂控制模块通过USB接口与数据处理模块进行通信；所述移动平台前端相机、储球模块、机械手臂控制器和机械手臂设置在移动平台上，机械手臂末端相机设置在机械手臂的末端，激光雷达设置在移动平台外壳周围，所述底层控制器、电机驱动、数据处理模块和电源模块设置在移动平台内部。

本发明还提供的一种基于机器视觉的乒乓球拾取移动机器人的控制方法，所述方法包括以下步骤：

步骤S100：移动平台前端相机采集周围环境图像；

步骤S200：通过对周围环境图像进行检测确定环境图像中乒乓球的图像坐标，判断是否有乒乓球，若有乒乓球则设定目标球，进入步骤S300，若没有乒乓球则判断移动平台旋转角度是否满足预设条件一，若不满足预设条件一则移动平台原地旋转预设角度返回步骤S100，反之则机械手臂恢复至初始状态，流程结束；

步骤S300：对目标球、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向目标球靠近，实时判断移动平台与目标球的距离是否满足预设条件二，若满足预设条件而则进入步骤S400，若不满足预设条件二则返回步骤S300；

步骤S400：移动平台停止运动，机械手臂末端相机获取待拾取乒乓球图像；

步骤S500：通过对待拾取乒乓球图像进行检测确定待拾取乒乓球的图像坐标，并将乒乓球的在图像坐标系下的坐标转换为机械臂坐标系下的坐标；

步骤S600：将待拾取乒乓球的机械臂坐标系下的坐标发送给机械手臂，机械手臂运动至待拾取乒乓球位置进行拾球动作，并将球放置在储存框中，返回步骤S100。

优选地，步骤S100之间还包括：

步骤S001：判断储存框是否存满，若没有存满进入步骤S100，若存满记录当前移动平台放球前位置，进入步骤S002；

步骤S002：对放球区域、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向放球区域靠近，实时判断移动平台与放球区域的距离是否满足预设条件，若满足则进入步骤S003，若不满足预设条件则返回步骤S002；

步骤S003：移动平台停止运动，将储存框中球放置在放球区域；

步骤S004：对记录的移动平台放球前位置、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向记录的移动平台放球前位置靠近，实时判断移动平台与记录的移动平台放球前位置的距离是否满足预设条件，若满足则移动平台停止运动进入步骤S100，若不满足预设条件则返回步骤S004。

优选地，所述步骤S200具体为：

步骤S210：对周围环境图像使用HSV模型与霍夫圆检测方法确定检测到的乒乓球在图像坐标系下的坐标；

步骤S220：判断是否有乒乓球，若有乒乓球则进入步骤S230，若没有乒乓球则判断移动平台旋转角度是否满足预设条件一，若不满足预设条件一则移动平台原地旋转预设角度返回步骤S100，反之则机械手臂恢复至初始状态，流程结束；

步骤S230：判断图像中是否只有一个乒乓球，若是将其设定为目标球，若不是比较各个乒乓球在图像坐标系下的纵坐标值，设定纵坐标值最大的球也是离移动平台最近的球为目标球。

优选地，所述步骤S300具体为：

步骤S310：对目标球、移动平台定位以及对周围环境建图，并进行路径规划；

步骤S320：得到图像坐标系下初始目标球的坐标值与期望坐标值关系，确定移动平台初始运动角度和速度；

步骤S330：实时将移动平台的角度和速度发送给移动平台，使移动平台向目标球靠近，移动平台的相机连续的采集目标球的图像，通过对目标球的图像进行检测确定目标球的坐标，判断目标球的坐标值与期望坐标值之差是否等于0，若等于0则进入步骤S400，若不等于0则根据实时得到目标球的坐标值与期望坐标值关系，确定移动平台运动角度和速度返回步骤S330。

优选地，所述步骤S500具体为：

步骤S510：通过对待拾取乒乓球图像进行检测确定待拾取乒乓球的图像坐标；

步骤S520：对待拾取乒乓球图像使用HSV模型与霍夫圆检测方法确定待拾取乒乓球的图像坐标系下的坐标；

步骤S530：并将待拾取乒乓球的图像坐标系下的坐标转换为机械手臂基座坐标系下的坐标。

优选地，所述步骤S530具体为：

步骤S531：先将图像坐标系绕其x轴旋转α角，再绕y轴旋转β角，得到图像坐标(x,y)到机械手臂坐标(X,Y)的转换关系，(m,n)为两个极坐标系的位移：

令a＝cosα,b＝sinα,c＝cosβ,d＝sinβ

步骤S532：已知三个像素点在图像中的图像坐标系的图像坐标(x1,y1),(x2,y2),(x3,y3)及其这三个像素点对应的在机械手臂基坐标系的坐标(X1,Y1),(X2,Y2),(X3,Y3)：

步骤S533：任意一点图像坐标系的图像坐标(x,y)转为机械手臂基坐标系的坐标(X,Y)：

能够实现拾取装置结构简单，平台轻巧，占用空间小，自动化程度高，并提高乒乓球识别率，提升拾取准确率和效率。

附图说明

图1为本发明提供的一种基于机器视觉的乒乓球拾取移动机器人的结构框图。

图2为第一种实施方式提供的基于机器视觉的乒乓球拾取移动机器人的控制方法的流程图；

图3为第二种实施方式提供的基于机器视觉的乒乓球拾取移动机器人的控制方法的流程图；

图4为第三种实施方式提供的基于机器视觉的乒乓球拾取移动机器人的控制方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

参见图1，图1为本发明提供的一种基于机器视觉的乒乓球拾取移动机器人的结构框图。

一种基于机器视觉的乒乓球拾取移动机器人，包括视觉检测模块10、移动平台控制模块30、机械手臂控制模块40、数据处理模块20、电源模块50和储球模块60，具体为：

所述视觉检测模块10，用于采集周围环境图像和待拾取乒乓球图像，并将采集到的图像发送给数据处理模块20；

所述数据处理模块20，用于对获取图像中的乒乓球进行检测确定目标球图像坐标系下的坐标和待拾取乒乓球的图像坐标系下的坐标；根据目标球图像坐标系下的坐标确定移动平台运动的角度和速度发送给移动平台控制模块30；将待拾取乒乓球的在图像坐标系下的坐标转换为机械臂坐标系下的坐标，并将待拾取乒乓球机械臂坐标系下的坐标发送给机械手臂控制模块40；

所述移动平台控制模块30，用于对移动平台的定位与运动环境的建图并进行路径规划，根据数据处理模块20发送移动平台运动的角度和速度使移动平台向目标物靠近；

所述机械手臂控制模块40，用于根据待拾取乒乓球机械臂坐标系下的坐标进行拾球动作，并将球放置在储球模块60中；

所述电源模块50，用于给视觉检测模块10、机械手臂控制模块40、数据处理模块20和移动平台控制模块30供电；

所述储球模块60，用于储存拾取的乒乓球。

视觉检测模块10采集周围环境图像并将采集到的图像发送给数据处理模块20。数据处理模块20对获取图像中的乒乓球进行检测获得乒乓球的图像坐标，确定目标球在图像坐标系下的坐标，根据目标球在图像坐标系下的坐标确定移动平台运动的角度和速度发送给移动平台控制模块30。移动平台控制模块30对移动平台的定位与运动环境的建图并进行路径规划，根据数据处理模块20发送移动平台运动的角度和速度使移动平台向目标物靠近。当靠近目标物之后，视觉检测模块10采集待拾取乒乓球图像，并将采集到的图像发送给数据处理模块20，数据处理模块20对获取图像中的乒乓球进行检测确定待拾取乒乓球在图像坐标系下的坐标并将待拾取乒乓球在图像坐标系下的坐标转换为机械臂坐标系下的坐标，并将待拾取乒乓球在机械臂坐标系下的坐标发送给机械手臂控制模块40。机械手臂控制模块40根据待拾取乒乓球在机械臂坐标系下的坐标进行抓球动作，并将球放置在储球模块60中。直至视觉检测模块10采集周围环境图像中没有乒乓球后机械手臂恢复至初始状态，流程结束。

能够实现拾取装置结构简单，平台轻巧，占用空间小，自动化程度高，并提高乒乓球识别率，提升拾取准确率和效率。

在进一步的方案中，所述视觉检测模块10包括移动平台前端相机11和机械手臂末端相机12，所述移动平台控制模块30包括激光雷达31、底层控制器32、电机驱动33和移动平台34，所述机械手臂控制模块40包括机械手臂控制器41和机械手臂42，所述数据处理模块20为单片机或电脑或中央处理芯片，所述电源模块50为锂电池，所述储球模块60为设置在移动平台上的储存框；

所述移动平台前端相机11，用于采集周围环境图像并将采集到的图像发送给数据处理模块20；

所述机械手臂末端相机12，用于采集待拾取乒乓球图像，并将采集到的图像发送给数据处理模块20；

所述激光雷达31，用于对移动平台的定位与运动环境的建图并进行路径规划；

所述底层控制器32，用于控制电机速度及移动平台34的转动角度；

所述电机驱动33，用于驱动移动平台34运动；

所述机械手臂控制器41，用于根据待拾取乒乓球机械臂坐标系下的坐标发送控制信号给机械手臂42；

机械手臂42，用于进行拾球动作，并将球放置在储球模块60中。

在进一步的方案中，所述视觉检测模块10、移动平台控制模块30和机械手臂控制模块40通过USB接口与数据处理模块20进行通信；所述移动平台前端相机11、储球模块60、机械手臂控制器41和机械手臂42设置在移动平台34上，机械手臂末端相机12设置在机械手臂42的末端，激光雷达31设置在移动平台34外壳周围，所述底层控制器32、电机驱动33、数据处理模块20和电源模块50设置在移动平台34内部。

所述机械手臂的运动范围为50mm-320mm。

将小型移动平台与机械臂结合，平台小巧，可移动，占空间小，作业范围大。采用车载相机与机械臂末端相机结合的方式，使目标检测定位更精准。

参见图2，图2为第一种实施方式提供的基于机器视觉的乒乓球拾取移动机器人的控制方法的流程图。

一种基于机器视觉的乒乓球拾取移动机器人的控制方法，所述方法包括以下步骤：

步骤S100：移动平台前端相机采集周围环境图像；

步骤S200：通过对周围环境图像进行检测确定环境图像中乒乓球的图像坐标，判断是否有乒乓球，若有乒乓球则设定目标球，进入步骤S300，若没有乒乓球则判断移动平台旋转角度是否满足预设条件一，若不满足预设条件一则移动平台原地旋转预设角度返回步骤S100，反之则机械手臂恢复至初始状态，流程结束；

步骤S300：对目标球、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向目标球靠近，实时判断移动平台与目标球的距离是否满足预设条件二，若满足预设条件而则进入步骤S400，若不满足预设条件二则返回步骤S300；

步骤S400：移动平台停止运动，机械手臂末端相机获取待拾取乒乓球图像；

步骤S500：通过对待拾取乒乓球图像进行检测确定待拾取乒乓球的图像坐标，并将乒乓球的在图像坐标系下的坐标转换为机械臂坐标系下的坐标；

步骤S600：将待拾取乒乓球的机械臂坐标系下的坐标发送给机械手臂，机械手臂运动至待拾取乒乓球位置进行拾球动作，并将球放置在储存框中，返回步骤S100。

移动平台前端相机采集周围环境图像，对获取图像中的乒乓球进行检测获得乒乓球的图像坐标。对目标球、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度,使移动平台向目标球靠近，实时判断移动平台是否已经移动到目标球附近。当到达目标球附近时，移动平台停止运动，机械手臂末端相机获取待拾取乒乓球图像，过对待拾取乒乓球图像进行检测确定待拾取乒乓球的图像坐标，并将乒乓球的在图像坐标系下的坐标转换为机械臂坐标系下的坐标。将待拾取乒乓球的机械臂坐标系下的坐标发送给机械手臂，机械手臂运动至待拾取乒乓球位置进行抓球动作，并将球放置在储存框中。移动平台前端相机继续采集周围环境图像并进行移动平台和抓球处理，直至视觉检测模块采集周围环境图像中没有乒乓球后机械手臂恢复至初始状态，流程结束。

能够实现结构简单，平台轻巧，占用空间小，自动化程度高，并提高乒乓球识别率，提升拾取准确率和效率。

参见图3，图3为第二种实施方式提供的基于机器视觉的乒乓球拾取移动机器人的控制方法的流程图。

第二种实施方式与第一种实施方式的区别在于，在移动机器人捡球之前先判断储存框是否存满。

一种基于机器视觉的乒乓球拾取移动机器人的控制方法，所述方法包括以下步骤：

步骤S001：判断储存框是否存满，若没有存满进入步骤S100，若存满记录当前移动平台放球前位置，进入步骤S002；

步骤S002：对放球区域、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向放球区域靠近，实时判断移动平台与放球区域的距离是否满足预设条件，若满足则进入步骤S003，若不满足预设条件则返回步骤S002；

步骤S003：移动平台停止运动，将储存框中球放置在放球区域；

步骤S004：对记录的移动平台放球前位置、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向记录的移动平台放球前位置靠近，实时判断移动平台与记录的移动平台放球前位置的距离是否满足预设条件，若满足则移动平台停止运动进入步骤S100，若不满足预设条件则返回步骤S004。

步骤S100：移动平台前端相机采集周围环境图像；

步骤S200：通过对周围环境图像进行检测确定环境图像中乒乓球的图像坐标，判断是否有乒乓球，若有乒乓球则设定目标球，进入步骤S300，若没有乒乓球则判断移动平台旋转角度是否满足预设条件一，若不满足预设条件一则移动平台原地旋转预设角度返回步骤S001，反之则机械手臂恢复至初始状态，流程结束；

步骤S300：对目标球、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向目标球靠近，实时判断移动平台与目标球的距离是否满足预设条件二，若满足预设条件而则进入步骤S400，若不满足预设条件二则返回步骤S300；

步骤S400：移动平台停止运动，机械手臂末端相机获取待拾取乒乓球图像；

步骤S500：通过对待拾取乒乓球图像进行检测确定待拾取乒乓球的图像坐标，并将乒乓球的在图像坐标系下的坐标转换为机械臂基座坐标系下的坐标；

步骤S600：将待拾取乒乓球的机械臂基座坐标系下的坐标发送给机械手臂，机械手臂运动至待拾取乒乓球位置进行拾球动作，并将球放置在储存框中，返回步骤S001。

能够实现自动识别并拾取乒乓球，当储存框满后，能自动返回到放球区域进行卸球并自动返回到拾取球的区域，提高了乒乓球拾取的自动化程度与智能化程度。

参见图4，图4为第三种实施方式提供的基于机器视觉的乒乓球拾取移动机器人的控制方法的流程图。

第三种实施方式与第二种实施方式的区别在于，在移动机器人捡球之前先判断储存框是否存满。

一种基于机器视觉的乒乓球拾取移动机器人的控制方法，所述方法包括以下步骤：

步骤S001：判断储存框是否存满，若没有存满进入步骤S100，若存满记录当前移动平台放球前位置，进入步骤S002；

步骤S002：对放球区域、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向放球区域靠近，实时判断移动平台与放球区域的距离是否满足预设条件，若满足则进入步骤S003，若不满足预设条件则返回步骤S002；

步骤S003：移动平台停止运动，将储存框中球放置在放球区域；

步骤S004：对记录的移动平台放球前位置、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向记录的移动平台放球前位置靠近，实时判断移动平台与记录的移动平台放球前位置的距离是否满足预设条件，若满足则移动平台停止运动进入步骤S100，若不满足预设条件则返回步骤S004。

步骤S100：移动平台前端相机采集周围环境图像；

步骤S210：对周围环境图像使用HSV模型与霍夫圆检测方法确定检测到的乒乓球在图像坐标系下的坐标；

对周围环境图像利用乒乓球的颜色和形状特征，HSV模型与霍夫圆检测方法对乒乓球进行检测与识别，确定乒乓球在图像坐标系下的坐标。

步骤S220：判断是否有乒乓球，若有乒乓球则进入步骤S230，若没有乒乓球则判断移动平台旋转角度是否满足预设条件一，若不满足预设条件一则移动平台原地旋转预设角度返回步骤S001，反之则机械手臂恢复至初始状态，流程结束；

所述预设条件一为360o，预设角度根据实际情况设定，如可设定为30o。判断当前移动平台前端相机采集周围环境图像中是否存在乒乓球，若有乒乓球则进入步骤S230中进行下一步的操作，若当前移动平台前端相机采集周围环境图像中没有乒乓球则移动平台旋转30o，再采集周围环境图像，直至移动平台旋转360o后采集的环境图像中均无乒乓球，则移动平台停止移动，机械手臂恢复至初始状态，捡球流程结束。

步骤S230：判断图像中是否只有一个乒乓球，若是将其设定为目标球，若不是比较各个乒乓球在图像坐标系下的纵坐标值，设定纵坐标值最大的球也是离移动平台最近的球为目标球。

步骤S310：对目标球、移动平台定位以及对周围环境建图，并进行路径规划；

利用激光雷达的SLAM(simultaneous localization and mapping，即即时定位与地图构建)实时定位与建图技术，确定移动平台的位置，并在此地图上采用运动距离最短的路径规划算法选出最优路径，使移动平台以最短的路径运动到目标球附近。

步骤S320：得到图像坐标系下初始目标球的坐标值与期望坐标值关系，确定移动平台初始运动角度和速度；

步骤S330：实时将移动平台的角度和速度发送给移动平台，使移动平台向目标球靠近，移动平台的相机连续的采集目标球的图像，通过对目标球的图像进行检测确定目标球的坐标，判断目标球的坐标值与期望坐标值之差是否等于0，若等于0则进入步骤S400，若不等于0则根据实时得到目标球的坐标值与期望坐标值关系，确定移动平台运动角度和速度返回步骤S330。

判断目标球的坐标值与期望坐标值之差是否等于0，若否，调整移动平台运动角度与速度，利用激光雷达的SLAM同时定位与建图技术，确定移动平台的位置，并在此地图上采用运动距离最短的路径规划算法选出最优路径，使移动平台以最短的路径运动到目标球附近；若是则移动平台运动到目标球附近。

步骤S400：移动平台停止运动，机械手臂末端相机获取待拾取乒乓球图像；

步骤S510：通过对待拾取乒乓球图像进行检测确定待拾取乒乓球的图像坐标；

步骤S520：对待拾取乒乓球图像使用HSV模型与霍夫圆检测方法确定待拾取乒乓球的图像坐标系下的坐标；

对待拾取乒乓球图像利用乒乓球的颜色和形状特征，HSV模型与霍夫圆检测方法对乒乓球进行检测与识别，确定待拾乒乓球在图像坐标系下的坐标。

步骤S530：并将待拾取乒乓球的图像坐标系下的坐标转换为机械手臂基座坐标系下的坐标。

优选地，所述图像坐标系下的坐标转换为机械手臂基座坐标系下的坐标转换具体为：

步骤S531：先将图像坐标系绕其x轴旋转α角，再绕y轴旋转β角，得到图像坐标(x,y)到机械手臂坐标(X,Y)的转换关系，(m,n)为两个极坐标系的位移：

令a＝cosα,b＝sinα,c＝cosβ,d＝sinβ

步骤S532：已知三个像素点在图像中的图像坐标系的图像坐标(x1,y1),(x2,y2),(x3,y3)及其这三个像素点对应的在机械手臂基坐标系的坐标(X1,Y1),(X2,Y2),(X3,Y3)：

所述三个像素点通过下述方法获得：事先将标定板固定在机械臂末端相机的视野范围内，并在标定板上标注三个不同行不同列的点，然后采集一张标定板的图像，用电脑自带的画图软件打开图像并查看标注在标定板上三个点在图像中的坐标(x1,y1),(x2,y2),(x3,y3)，最后将机械臂的末端的中心位置分别放在标注在标定板上三个点的位置，通过机械臂的配套软件自动读出这三个点在机械臂基坐标系下的坐标(X1,Y1),(X2,Y2),(X3,Y3)。

步骤S533：任意一点图像坐标系的图像坐标(x,y)转为机械手臂基坐标系的坐标(X,Y)：

步骤S600：将待拾取乒乓球的机械臂坐标系下的坐标发送给机械手臂，机械手臂运动至待拾取乒乓球位置进行拾球动作，并将球放置在储存框中，返回步骤S001。

将待拾取乒乓球的机械臂坐标系下的坐标发送给机械手臂，机械臂控制模块的机械臂控制器利用逆运动学求解机械臂的各关节运动的角度控制机械臂运动至待拾取乒乓球位置进行拾球动作，并将球放置在储存框中。

采用HSV模型与霍夫圆检测方法，提升了乒乓球识别定位的准确度，降低了对光照变化的敏感性。采用SLAM技术实时创建更新地图，并在此地图上采用运动距离最短的路径规划算法选出最优路径，使移动平台以最短的路径运动到目标球附近提高拾取效率。

以上对本发明所提供的一种基于机器视觉的乒乓球拾取移动机器人及控制方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种基于机器视觉的乒乓球拾取移动机器人，其特征在于，包括视觉检测模块、移动平台控制模块、机械手臂控制模块、数据处理模块、电源模块和储球模块，具体为：

所述视觉检测模块，用于采集周围环境图像和待拾取乒乓球图像，并将采集到的图像发送给数据处理模块；

所述数据处理模块，用于对获取图像中的乒乓球进行检测确定目标球图像坐标系下的坐标和待拾取乒乓球图像坐标系下的坐标；根据目标球图像坐标系下的坐标确定移动平台运动的角度和速度发送给移动平台控制模块；将待拾取乒乓球的在图像坐标系下的坐标转换为机械臂坐标系下的坐标，并将待拾取乒乓球机械臂坐标系下的坐标发送给机械手臂控制模块；

所述移动平台控制模块，用于对移动平台的定位与运动环境的建图并进行路径规划，根据数据处理模块发送移动平台运动的角度和速度使移动平台向目标物靠近；

所述机械手臂控制模块，用于根据待拾取乒乓球机械臂坐标系下的坐标进行拾取球动作，并将球放置在储球模块中；

所述电源模块，用于给视觉检测模块、机械手臂控制模块、数据处理模块和移动平台控制模块供电；

所述储球模块，用于储存拾取的乒乓球；

通过对待拾取乒乓球图像进行检测确定待拾取乒乓球的图像坐标，并将乒乓球的在图像坐标系下的坐标转换为机械臂坐标系下的坐标，包括：

通过对待拾取乒乓球图像进行检测确定待拾取乒乓球的图像坐标；

对待拾取乒乓球图像使用HSV模型与霍夫圆检测方法确定待拾取乒乓球的图像坐标系下的坐标；

并将待拾取乒乓球的图像坐标系下的坐标转换为机械手臂基座坐标系下的坐标；

所述将待拾取乒乓球的图像坐标系下的坐标转换为机械手臂基座坐标系下的坐标具体为：

先将图像坐标系绕其x轴旋转α角，再绕y轴旋转β角，得到图像坐标(x,y)到机械手臂坐标(X,Y)的转换关系，(m,n)为两个极坐标系的位移：

令a＝cosα,b＝sinα,c＝cosβ,d＝sinβ

已知三个像素点在图像中的图像坐标系的图像坐标(x1,y1),(x2,y2),(x3,y3)及其这三个像素点对应的在机械手臂基坐标系的坐标(X1,Y1),(X2,Y2),(X3,Y3)：

任意一点图像坐标系的图像坐标(x,y)转为机械手臂基坐标系的坐标(X,Y)：

所述视觉检测模块包括移动平台前端相机和机械手臂末端相机，所述移动平台控制模块包括激光雷达、底层控制器、电机驱动和移动平台，所述机械手臂控制模块包括机械手臂控制器和机械手臂，所述数据处理模块为单片机或电脑或中央处理芯片，所述电源模块为锂电池，所述储球模块为设置在移动平台上的储存框；

所述移动平台前端相机，用于采集周围环境图像并将采集到的图像发送给数据处理模块；

所述机械手臂末端相机，用于采集待拾取乒乓球图像，并将采集到的图像发送给数据处理模块；

所述激光雷达，用于对移动平台的定位与运动环境的建图并进行路径规划；

所述底层控制器，用于控制电机速度及移动平台的转动角度；

所述电机驱动，用于驱动移动平台运动；

所述机械手臂控制器，用于根据待拾取乒乓球机械臂坐标系下的坐标发送控制信号给机械手臂；

机械手臂，用于进行拾球动作，并将球放置在储球模块中；

基于机器视觉的乒乓球拾取移动机器人的控制方法，所述方法包括以下步骤：

步骤S100：移动平台前端相机采集周围环境图像；

步骤S200：通过对周围环境图像进行检测确定环境图像中乒乓球的图像坐标，判断是否有乒乓球，若有乒乓球则设定目标球，进入步骤S300，若没有乒乓球则判断移动平台旋转角度是否满足预设条件一，若不满足预设条件一则移动平台原地旋转预设角度返回步骤S100，反之则机械手臂恢复至初始状态，流程结束；

步骤S300：对目标球、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向目标球靠近，实时判断移动平台与目标球的距离是否满足预设条件二，若满足预设条件而则进入步骤S400，若不满足预设条件二则返回步骤S300；

步骤S400：移动平台停止运动，机械手臂末端相机获取待拾取乒乓球图像；

步骤S500：通过对待拾取乒乓球图像进行检测确定待拾取乒乓球的图像坐标，并将乒乓球的在图像坐标系下的坐标转换为机械臂坐标系下的坐标；

步骤S600：将待拾取乒乓球的机械臂坐标系下的坐标发送给机械手臂，机械手臂运动至待拾取乒乓球位置进行拾球动作，并将球放置在储存框中，返回步骤S100。

2.根据权利要求1所述的基于机器视觉的乒乓球拾取移动机器人，其特征在于，所述视觉检测模块、移动平台控制模块和机械手臂控制模块通过USB接口与数据处理模块进行通信；所述移动平台前端相机、储球模块、机械手臂控制器和机械手臂设置在移动平台上，机械手臂末端相机设置在机械手臂的末端，激光雷达设置在移动平台外壳周围，所述底层控制器、电机驱动、数据处理模块和电源模块设置在移动平台内部。

3.根据权利要求2所述的基于机器视觉的乒乓球拾取移动机器人，其特征在于，所述机械手臂的运动范围为50mm-320mm。

4.根据权利要求1所述的基于机器视觉的乒乓球拾取移动机器人，其特征在于，步骤S100之前还包括：

步骤S001：判断储存框是否存满，若没有存满进入步骤S100，若存满记录当前移动平台放球前位置，进入步骤S002；

步骤S002：对放球区域、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向放球区域靠近，实时判断移动平台与放球区域的距离是否满足预设条件，若满足则进入步骤S003，若不满足预设条件则返回步骤S002；

步骤S003：移动平台停止运动，将储存框中球放置在放球区域；

步骤S004：对记录的移动平台放球前位置、移动平台定位以及对周围环境建图，并进行路径规划，实时调整移动平台运动的角度和速度，使移动平台向记录的移动平台放球前位置靠近，实时判断移动平台与记录的移动平台放球前位置的距离是否满足预设条件，若满足则移动平台停止运动进入步骤S100，若不满足预设条件则返回步骤S004。

5.根据权利要求4所述的基于机器视觉的乒乓球拾取移动机器人，其特征在于，所述步骤S200具体为：

步骤S210：对周围环境图像使用HSV模型与霍夫圆检测方法确定检测到的乒乓球在图像坐标系下的坐标；

步骤S220：判断是否有乒乓球，若有乒乓球则进入步骤S230，若没有乒乓球则判断移动平台旋转角度是否满足预设条件一，若不满足预设条件一则移动平台原地旋转预设角度返回步骤S100，反之则机械手臂恢复至初始状态，流程结束；

步骤S230：判断图像中是否只有一个乒乓球，若是将其设定为目标球，若不是比较各个乒乓球在图像坐标系下的纵坐标值，设定纵坐标值最大的球也是离移动平台最近的球为目标球。

6.根据权利要求5所述的基于机器视觉的乒乓球拾取移动机器人，其特征在于，所述步骤S300具体为：

步骤S310：对目标球、移动平台定位以及对周围环境建图，并进行路径规划；

步骤S320：得到图像坐标系下初始目标球的坐标值与期望坐标值关系，确定移动平台初始运动角度和速度；

步骤S330：实时将移动平台的角度和速度发送给移动平台，使移动平台向目标球靠近，移动平台的相机连续的采集目标球的图像，通过对目标球的图像进行检测确定目标球的坐标，判断目标球的坐标值与期望坐标值之差是否等于0，若等于0则进入步骤S400，若不等于0则根据实时得到目标球的坐标值与期望坐标值关系，确定移动平台运动角度和速度返回步骤S330。

Images