CN111729269A - 一种基于深度视觉的自主捡网球机器人 - Google Patents

一种基于深度视觉的自主捡网球机器人 Download PDF

Info

Publication number
CN111729269A
CN111729269A CN202010461684.0A CN202010461684A CN111729269A CN 111729269 A CN111729269 A CN 111729269A CN 202010461684 A CN202010461684 A CN 202010461684A CN 111729269 A CN111729269 A CN 111729269A
Authority
CN
China
Prior art keywords
tennis ball
base
control system
vision
tennis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010461684.0A
Other languages
English (en)
Other versions
CN111729269B (zh
Inventor
佟钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Estam Education Technology Co ltd
Original Assignee
Nanjing Estam Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Estam Education Technology Co ltd filed Critical Nanjing Estam Education Technology Co ltd
Priority to CN202010461684.0A priority Critical patent/CN111729269B/zh
Publication of CN111729269A publication Critical patent/CN111729269A/zh
Application granted granted Critical
Publication of CN111729269B publication Critical patent/CN111729269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B47/00—Devices for handling or treating balls, e.g. for holding or carrying balls
    • A63B47/02—Devices for handling or treating balls, e.g. for holding or carrying balls for picking-up or collecting
    • A63B47/021—Devices for handling or treating balls, e.g. for holding or carrying balls for picking-up or collecting for picking-up automatically, e.g. by apparatus moving over the playing surface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B47/00—Devices for handling or treating balls, e.g. for holding or carrying balls
    • A63B47/02—Devices for handling or treating balls, e.g. for holding or carrying balls for picking-up or collecting
    • A63B47/024—Devices for handling or treating balls, e.g. for holding or carrying balls for picking-up or collecting for collecting by using a sweeping means moving across the playing surface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/38—Training appliances or apparatus for special sports for tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于深度视觉的自主捡网球机器人。所述基于深度视觉的自主捡网球机器人包括底座，所述底座的顶面前后均固定安装有支撑柱，所述支撑柱的顶面均安装有步进电机，所述步进电机通过输出轴与泡沫转板相传动连接，所述支撑柱的右侧侧壁均安装有摄像头，所述底座的左侧侧壁安装有收集箱，所述底座的右侧侧壁固接有导向板，所述底座顶面前后边缘处均固接有防漏板，所述底座的内部安装有控制系统，本发明提供一种基于深度视觉的自主捡网球机器人，简化了网球的拾取方式，增加了机器人在拾取网球过程中运动的灵活性，解决了网球场散落网球拾取麻烦的问题。

Description

一种基于深度视觉的自主捡网球机器人
技术领域
本发明涉及人工智能机器视觉技术领域，尤其涉及一种基于深度视觉的自主捡网球机器人。
背景技术
当今世界智能化，自动化逐渐渗透到各种领域，各个方面。人工智能也逐渐多样化，通过人工智能与机器视觉，控制算法等的综合运用，能制造具备丰富功能的智能机器人，大大便利了人们的生活。根据调查了解，如今网球运动员训练场，会在场地上杂乱无章的掉落许多网球，而数目过多会造成网球训练的困扰，而利用人工拾取网球，效率则会非常低。并且目前市面上拾取网球的方案大多成本过高。本项目利用机器视觉，实现了对环境分析识别，定位当下环境中的网球，并对网球进行拾取的功能。
因此，有必要提供一种新的基于深度视觉的自主捡网球机器人解决上述技术问题。
发明内容
为解决上述技术问题，本发明提供一种基于深度视觉的自主捡网球机器人，简化了网球的拾取方式，增加了机器人在拾取网球过程中运动的灵活性，解决了网球场散落网球拾取麻烦的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度视觉的自主捡网球机器人，基于深度视觉的自主捡网球机器人，包括底座，所述底座的顶面前端两侧均固定安装有支撑柱，所述支撑柱的顶面均安装有步进电机，所述步进电机通过输出轴与泡沫转板相传动连接，所述支撑柱侧壁上均安装有摄像头，所述底座的后端安装有收集箱，所述泡沫转板与收集箱之间设置有若干挡板，所述挡板固定在底座的顶面上，若干挡板围成网球传输通道，泡沫转板接下的网球通过网球传输通道送至收集箱储存；
所述底座的底面分别固接有三个固定块，三个所述固定块的侧壁均安装有直流电机，所述直流电机均通过输出轴分别与前轮、左后轮和右后轮相传动连接；
所述底座的前端安装有导向板，导向板的一端与底座转动连接，另一端上下转动至贴近地面或贴合在底座上；
所述底座的内部安装有控制系统，所述摄像头与控制系统输入端通讯连接，所述导向板、步进电机和直流电机与控制系统的输出端通讯连接。
进一步优选地，所述控制系统包括移动电源、主控制器、副控制器、PC机、步进电机驱动芯片和直流电机驱动芯片，所述主控制器通过串口分别与PC机和副控制器通讯连接，所述直流电机驱动芯片通过串口与主控制器通讯连接，所述步进电机驱动芯片通过串口与副控制器通讯连接，所述移动电源分别与主控制器和副控制器电性连接。
优选地，所述主控器和副控制器均采用STM32F407VET6型号。
优选地，所述直流电机驱动芯片采用BTN7971B型号芯片，所述步进电机采用高集成度的LV8731V型号芯片。
优选地，所述直流电机驱动芯片与直流电机通讯连接，所述步进电机驱动芯片与步进电机通讯连接。
优选地，所述前轮正转角度为90°，所述左后轮正转角度为330°，所述右后轮正转角度为210°。
本发明的基于深度视觉的自主捡网球机器人的识别方法，包括网球识别和障碍识别，其中：
网球识别方法为：
使用OpenCV开源视觉库，先将摄像头(13)的RGB模型转为HSV或HSI模型，选出在设定范围内的像素之后进行开运算消除噪声点，然后寻找轮廓面积最大的块，计算其重心为网球重心点，保存网球的像素坐标，传给控制系统(11)；
障碍识别方法为：
使用左右两个红外通道摄像头，运用双目立体视觉，得到深度图像，则可知道距离前方障碍物的距离，将数据传给控制系统(11)进行避障。
本发明的基于深度视觉的自主捡网球机器人的控制方法，其特征在于，
当开始工作时，控制系统(11)通过步进电机(5)控制泡沫转板(6)开始旋转，寻找到网球时，控制系统(11)控制机器人前进，并由摄像头(13)反馈回来的网球坐标进行PD转向控制，视角内没有网球时，则原地旋转，直到找到下一个网球为止；
控制系统(11)控制三个轮的直流电机(14)的计算方法为：
对底盘三个OmniWheel的电机电流分配：定义前轮为A，左后轮为B，右后轮为C，前进角度为φx＝0°，向右角度为φy＝90°；那么A轮正转角度为φA＝90°，B轮正转角度为φB＝330°，C轮正转角度为φC＝210°，控制器输出电流为Ix和Iy，用三角函数分配到三个电机上得到的电流分别为：
A电机：
Figure BDA0002511162710000031
B电机：
Figure BDA0002511162710000032
C电机：
Figure BDA0002511162710000033
与相关技术相比较，本发明提供的基于深度视觉的自主捡网球机器人具有如下有益效果：
通过该发明中的新型机械结构，以及三个OmniWheel的电机驱动方式，能够使机器人更加灵活地运动和更加高效率低成本地拾取网球。经过反复的实验，捡球的效果已经可以达到预期的效果，能够很好地识别并捡取网球，在实验中能够成功完成回收网球的工作。同时，在背景复杂的环境下只需简单微调色域的参数，即可适应场地进行作业，这项设计更能服务于社会，减少人力资源消耗，投入日常使用。
附图说明
图1为本发明的整体结构示意图；
图2为本发明底座底面的结构示意图；
图3为本发明的视觉系统框图；
图4为本实用新的视觉选择控制系统框图；
图5为本发明的控制系统框图。
图中标号：1、底座；2、挡板；3、支撑柱；4、左后轮；5、步进电机；6、泡沫转板；7、导向板；8、固定块；9、前轮；10、右后轮；11、控制系统；12、收集箱；13、摄像头；14、直流电机。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了如图1-5所示的一种基于深度视觉的自主捡网球机器人，包括底座1，底座1的前端转动安装有导向板7，底座1的顶面前端的两侧均固定安装有支撑柱3，支撑柱3的顶面均安装有步进电机5，两步进电机5通过输出轴与泡沫转板6传动连接，支撑柱3上均安装有摄像头13，底座1的后端安装有收集箱12，泡沫转板6与收集箱12之间设置有若干挡板2，挡板2固定在底座的顶面上，若干挡板围成网球传输通道；底座1的底面分别固接有三个固定块8，三个固定块8的侧壁均安装有直流电机14，直流电机14均通过输出轴分别与前轮9、左后轮4和右后轮10相传动连接，底座1的内部安装有控制系统11，控制系统11包括移动电源、主控制器、副控制器、PC机、步进电机驱动芯片和直流电机驱动芯片，主控制器通过串口分别与PC机和副控制器相通信连接，直流电机驱动芯片通过串口与主控制器相通信连接，步进电机驱动芯片通过串口与副控制器相通信连接，移动电源分别与主控制器和副控制器相电性连接，为了通过控制系统对直流电机14和步进电机5进行控制，主控器和副控制器均采用STM32F407VET6型号，直流电机驱动芯片采用BTN7971B型号芯片，步进电机5采用高集成度的LV8731V型号芯片，直流电机驱动芯片与直流电机14相通信连接，步进电机驱动芯片与步进电机5相通信连接，为了能够通过直流电机驱动芯片和步进电机驱动芯片分别对直流电机14和步进电机5进行，使用OpenCV开源视觉库，先将摄像头13的RGB模型转为HSVHSI模型，即色度、饱和度、明度，选出在范围内的像素为1，不在范围内的像素为0，之后进行开运算先腐蚀再膨胀来消除噪声点，之后寻找轮廓面积最大的块，计算其重心为网球重心点，保存网球的像素坐标，传给控制系统11，通过支撑柱3上的左右两个摄像头，运用双13目立体视觉，得到深度图像，则可知道距离前方障碍物的距离，将数据传给控制系统11进行避障，前轮9正转角度为90°，左后轮4正转角度为330°，右后轮10正转角度为210°，为了使机器人在待命时，能够旋转，通过摄像头13对环境进行检测，进而便于发现网球。
本发明提供的基于深度视觉的自主捡网球机器人的工作原理如下：
当开始工作时，通过硬件电路和软件算法的设计，搭建对应的机械结构，并且将机器人放置在作业环境中，打开开关，机器人即可在作业环境中进行网球的识别以及拾取，支撑柱3侧壁上的左右两个摄像头13，运用双目立体视觉，得到深度图像，则可知道距离前方障碍物的距离，将数据传给控制系统11进行避障，然后使机器人通过烘步进电机驱动芯片和副控制器对步进电机5控制，使步进电机5通输出轴让泡沫转板6旋转起来，然后通过主控制器和直流电机驱动芯片分别对直流电机14进行控制，再通过直流电机14分别前轮9、左后轮4和右后轮10进行驱动，使机器人能够移动，在前方有网球的时候，网球从导向板进入泡沫转板6旋转区域，泡沫转板6旋转将网球击打沿网球传输通道推入机器人的收集箱12中，视角内没有网球时，则原地旋转，直到找到下一个网球为止。在环境中网球拾取完毕之后，机器人会原地等待，此时只需关闭机器人电源，即可停止作业。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于深度视觉的自主捡网球机器人，包括底座(1)，其特征在于：所述底座(1)的顶面前端两侧均固定安装有支撑柱(3)，所述支撑柱(3)的顶面均安装有步进电机(5)，所述步进电机(5)通过输出轴与泡沫转板(6)相传动连接，所述支撑柱(3)侧壁上均安装有摄像头(13)，所述底座(1)的后端安装有收集箱(12)，所述泡沫转板(6)与收集箱(12)之间设置有若干挡板(2)，所述挡板(2)固定在底座的顶面上，若干挡板围成网球传输通道，泡沫转板(6)收集的网球通过网球传输通道送至收集箱(12)储存；
所述底座(1)的底面分别固接有三个固定块(8)，三个所述固定块(8)的侧壁均安装有直流电机(14)，所述直流电机(14)均通过输出轴分别与前轮(9)、左后轮(4)和右后轮(10)相传动连接；
所述底座(1)的前端安装有导向板(7)，导向板(7)的一端与底座转动连接，另一端上下转动至贴近地面或贴合在底座上；
所述底座(1)的内部安装有控制系统(11)，所述摄像头(13)与控制系统(11)输入端通讯连接，所述导向板(7)、步进电机(5)和直流电机(14)与控制系统(11)的输出端通讯连接。
2.根据权利要求1所述的一种基于深度视觉的自主捡网球机器人，其特征在于，所述控制系统(11)包括移动电源、主控制器、副控制器、PC机、步进电机驱动芯片和直流电机驱动芯片，所述主控制器通过串口分别与PC机和副控制器通讯连接，所述直流电机驱动芯片通过串口与主控制器通讯连接，所述步进电机驱动芯片通过串口与副控制器通讯连接，所述移动电源分别与主控制器和副控制器电性连接。
3.根据权利要求2所述的一种基于深度视觉的自主捡网球机器人，其特征在于，所述主控器和副控制器均采用STM32F407VET6型号。
4.根据权利要求2所述的一种基于深度视觉的自主捡网球机器人，其特征在于，所述直流电机驱动芯片采用BTN7971B型号芯片，所述步进电机(5)采用高集成度的LV8731V型号芯片。
5.根据权利要求2所述的一种基于深度视觉的自主捡网球机器人，其特征在于，所述直流电机驱动芯片与直流电机(14)通讯连接，所述步进电机驱动芯片与步进电机(5)通讯连接。
6.根据权利要求1所述的一种基于深度视觉的自主捡网球机器人，其特征在于，所述前轮(9)正转角度为90°，所述左后轮(4)正转角度为330°，所述右后轮(10)正转角度为210°。
7.一种权利要求1所述基于深度视觉的自主捡网球机器人的识别方法，其特征在于，包括网球识别和障碍识别，其中：
网球识别方法为：
使用OpenCV开源视觉库，先将摄像头(13)的RGB模型转为HSV或HSI模型，选出在设定范围内的像素之后进行开运算消除噪声点，然后寻找轮廓面积最大的块，计算其重心为网球重心点，保存网球的像素坐标，传给控制系统(11)；
障碍识别方法为：
使用左右两个红外通道摄像头，运用双目立体视觉，得到深度图像，则可知道距离前方障碍物的距离，将数据传给控制系统(11)进行避障。
8.一种权利要求1所述基于深度视觉的自主捡网球机器人的控制方法，其特征在于，
当开始工作时，控制系统(11)通过步进电机(5)控制泡沫转板(6)开始旋转，寻找到网球时，控制系统(11)控制机器人前进，并由摄像头(13)反馈回来的网球坐标进行PD转向控制，视角内没有网球时，则原地旋转，直到找到下一个网球为止；
控制系统(11)控制三个轮的直流电机(14)的计算方法为：
对底盘三个OmniWheel的电机电流分配：定义前轮为A，左后轮为B，右后轮为C，前进角度为φx＝0°，向右角度为φy＝90°；那么A轮正转角度为φA＝90°，B轮正转角度为φB＝330°，C轮正转角度为φC＝210°，控制器输出电流为Ix和Iy，用三角函数分配到三个电机上得到的电流分别为：
A电机：
Figure FDA0002511162700000031
B电机：
Figure FDA0002511162700000032
C电机：
Figure FDA0002511162700000033
CN202010461684.0A 2020-05-27 2020-05-27 一种基于深度视觉捡网球机器人的识别方法 Active CN111729269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010461684.0A CN111729269B (zh) 2020-05-27 2020-05-27 一种基于深度视觉捡网球机器人的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010461684.0A CN111729269B (zh) 2020-05-27 2020-05-27 一种基于深度视觉捡网球机器人的识别方法

Publications (2)

Publication Number Publication Date
CN111729269A true CN111729269A (zh) 2020-10-02
CN111729269B CN111729269B (zh) 2021-11-09

Family

ID=72647776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010461684.0A Active CN111729269B (zh) 2020-05-27 2020-05-27 一种基于深度视觉捡网球机器人的识别方法

Country Status (1)

Country Link
CN (1) CN111729269B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114522410A (zh) * 2022-02-14 2022-05-24 复旦大学 一种羽毛球过网高度检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3007270A1 (de) * 1979-09-22 1981-09-03 Heinz 8729 Obertheres Jirku Vorrichtung zum auffangen und sammeln der beim ueben des tennisspieles ueber das tennisnetz geschlagenen baelle
DE3242358A1 (de) * 1981-11-20 1983-05-26 Joseph Adrianus Helmond Groes Ballsammel- und -rueckfuehreinrichtung fuer tennisplaetze
CN103143149A (zh) * 2013-04-02 2013-06-12 陕西科技大学 一种网球自动捡球装置
CN107137890A (zh) * 2016-09-27 2017-09-08 五邑大学 一种基于图像识别的智能网球拾取机器人
CN107854822A (zh) * 2017-11-17 2018-03-30 长沙展朔轩兴信息科技有限公司 智能捡球机器人
CN207429620U (zh) * 2017-10-26 2018-06-01 浙江理工大学 智能捡网球机器人
CN108992873A (zh) * 2018-09-18 2018-12-14 曹婉丽 一种网球自动捡拾装置
CN110732126A (zh) * 2018-07-18 2020-01-31 深圳市比速光电科技有限公司 一种智能全自动网球捡球机
CN111168695A (zh) * 2020-02-19 2020-05-19 温州大学 一种室内小圆球捡球放球机器人及其使用方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3007270A1 (de) * 1979-09-22 1981-09-03 Heinz 8729 Obertheres Jirku Vorrichtung zum auffangen und sammeln der beim ueben des tennisspieles ueber das tennisnetz geschlagenen baelle
DE3242358A1 (de) * 1981-11-20 1983-05-26 Joseph Adrianus Helmond Groes Ballsammel- und -rueckfuehreinrichtung fuer tennisplaetze
CN103143149A (zh) * 2013-04-02 2013-06-12 陕西科技大学 一种网球自动捡球装置
CN107137890A (zh) * 2016-09-27 2017-09-08 五邑大学 一种基于图像识别的智能网球拾取机器人
CN207429620U (zh) * 2017-10-26 2018-06-01 浙江理工大学 智能捡网球机器人
CN107854822A (zh) * 2017-11-17 2018-03-30 长沙展朔轩兴信息科技有限公司 智能捡球机器人
CN110732126A (zh) * 2018-07-18 2020-01-31 深圳市比速光电科技有限公司 一种智能全自动网球捡球机
CN108992873A (zh) * 2018-09-18 2018-12-14 曹婉丽 一种网球自动捡拾装置
CN111168695A (zh) * 2020-02-19 2020-05-19 温州大学 一种室内小圆球捡球放球机器人及其使用方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114522410A (zh) * 2022-02-14 2022-05-24 复旦大学 一种羽毛球过网高度检测方法

Also Published As

Publication number Publication date
CN111729269B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN110681133A (zh) 一种用于捡乒乓球机器人的双模态控制方法
CN102614641B (zh) 智能一体化捡网球机器人
CN111729269B (zh) 一种基于深度视觉捡网球机器人的识别方法
CN107019883A (zh) 一种机器视觉的网球自动捡球机器人
US20190038099A1 (en) Vacuum cleaner
CN1660007A (zh) 用于对机器人清洁工充电的外部充电装置
CN103955150A (zh) 半自主智能捡网球机器人及其控制方法
CN211324756U (zh) 一种智能清扫机器人
CN209859002U (zh) 一种室外行人跟随机器人控制系统
CN108293628A (zh) 自动修草机及自动修草方法
Jiandong et al. A agricultural spraying and fertilization robot based on visual navigation
CN210823833U (zh) 智能环卫机器人
CN212522923U (zh) 拾球机器人系统
CN107756402A (zh) 一种基于深度学习的智能型避障抓取系统
CN206152232U (zh) 智能捡球车
CN205121336U (zh) 一种智能乒乓球捡拾机器人
CN204235556U (zh) 智能娱乐机器人
CN209070376U (zh) 一种基于图像识别的云台追踪系统
CN203535494U (zh) 一种家用多用途人体跟踪旋转云台
CN215341529U (zh) 一种编程教育机器人
CN215219970U (zh) 一种机器视觉全向移动实训平台
CN106873593A (zh) 一种基于OpenCV图像识别算法的智能捡球机器人
WO2021238000A1 (zh) 机器人沿边工作方法、系统，机器人及可读存储介质
CN211861999U (zh) 一种智能行李箱
CN210694976U (zh) 一种番茄采摘机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant