CN112494915B - 一种羽毛球机器人及其系统和控制方法 - Google Patents
一种羽毛球机器人及其系统和控制方法 Download PDFInfo
- Publication number
- CN112494915B CN112494915B CN202011470997.9A CN202011470997A CN112494915B CN 112494915 B CN112494915 B CN 112494915B CN 202011470997 A CN202011470997 A CN 202011470997A CN 112494915 B CN112494915 B CN 112494915B
- Authority
- CN
- China
- Prior art keywords
- badminton
- robot
- module
- driving unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/40—Stationarily-arranged devices for projecting balls or other bodies
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
- A63B2102/04—Badminton
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种羽毛球机器人及其系统和控制方法,该羽毛球机器人包括水平运动模块、击球模块和传感模块,所述水平运动模块包括基座、第一驱动单元和多个麦克纳姆轮,所述第一驱动单元和多个所述麦克纳姆轮分别连接在所述基座上,所述第一驱动单元连接多个所述麦克纳姆轮以用于驱动多个所述麦克纳姆轮;所述击球模块包括第二驱动单元、绳驱柔性臂和球拍,所述球拍连接在所述绳驱柔性臂的第一端部,所述第二驱动单元连接在所述绳驱柔性臂的第二端部以用于驱动所述绳驱柔性臂,所述第二驱动单元连接设置在所述基座上;所述传感模块设置在所述水平运动模块或所述击球模块上。本发明具有重心稳定、关节灵活、可以实现多种复杂击球动作等优点。
Description
技术领域
本发明涉及体育运动训练设备技术领域,尤其涉及一种羽毛球机器人及其系统和控制方法。
背景技术
21世纪以来,高速处理器、人工智能算法、图像识别技术等已经取得了飞速的发展,像一些自动驾驶、人脸识别等开始应用于人们的生活。其中研究较早且比较成熟的乒乓球机器人、气冰球机器人等已经可以与运动员进行PK,而羽毛球机器人相对而言,结构要求、精度要求更高一些,所以起步较晚,但当前实现羽毛球机器人的硬件、软件条件已经基本具备。
羽毛球在中国是非常受欢迎的一项运动,但是它作为一项多人运动受到球友之间距离地点太远、时间难以充分协调等问题的制约,羽毛球机器人的存在就能解决这个问题,并提高人们的竞技热情。这不仅意味着可以大大提高羽毛球等体育运动的质量和全民参与度,甚至可以大大增加国民运动的时间,扩大对羽毛球等体育运动的参与度和影响力。但是目前的羽毛球机器人存在击球动作单一、末端操作不灵活以及在击球过程中极易产生重心不稳等问题。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题,本发明提出一种羽毛球机器人及其系统和控制方法,具有重心稳定、关节灵活、可以实现多种复杂击球动作等优点。
为了达到上述目的,本发明采用以下技术方案:
本发明的一个实施例公开了一种羽毛球机器人,包括水平运动模块、击球模块和传感模块,所述水平运动模块包括基座、第一驱动单元和多个麦克纳姆轮,所述第一驱动单元和多个所述麦克纳姆轮分别连接在所述基座上,所述第一驱动单元连接多个所述麦克纳姆轮以用于驱动多个所述麦克纳姆轮;所述击球模块包括第二驱动单元、绳驱柔性臂和球拍,所述球拍连接在所述绳驱柔性臂的第一端部,所述第二驱动单元连接在所述绳驱柔性臂的第二端部以用于驱动所述绳驱柔性臂,所述第二驱动单元连接设置在所述基座上;所述传感模块设置在所述水平运动模块或所述击球模块上。
本发明的一个实施例公开了一种羽毛球机器人系统,包括上述的羽毛球机器人、图像识别模块、轨迹预测模块和控制模块,其中:
所述图像识别模块被配置为获取场景内的深度图像和彩色图像以计算出羽毛球在空间坐标系中的位置;
所述轨迹预测模块被配置为根据所述图像识别模块计算出的羽毛球在空间坐标系中的位置结合BP神经网络,以预测得到羽毛球的落地点和落地时间;
所述控制模块连接所述第一驱动单元和所述第二驱动单元,以用于根据所述轨迹预测模块得到的羽毛球的落地点和落地时间以及所述传感模块感应的所述羽毛球机器人当前的位置来控制所述第一驱动单元和所述第二驱动单元。
本发明的一个实施例公开了一种羽毛球机器人的控制方法,用于对上述的羽毛球机器人进行控制,包括以下步骤:
S1:获取场景内的深度图像和彩色图像,以计算出羽毛球在空间坐标系中的位置;
S2:根据步骤S1计算出的羽毛球在空间坐标系中的位置结合BP神经网络,以预测得到羽毛球的落地点和落地时间;
S3:根据步骤S2得到的羽毛球的落地点和落地时间以及所述传感模块感应的所述羽毛球机器人当前的位置来控制所述第一驱动单元和所述第二驱动单元。
优选地,步骤S1具体包括:获取场景内的深度图像和彩色图像,通过训练好的YOLOV3算法在彩色图像中检测羽毛球的位置,并将彩色图像中羽毛球的位置映射到深度图像中,计算出羽毛球在空间坐标系中的位置。
优选地,通过训练好的YOLO V3算法在彩色图像中检测羽毛球的位置之前还包括:通过图像帧差法获取存在羽毛球运动的深度图像和彩色图像,然后判断深度图像和彩色图像中是否存在羽毛球,如果是,则通过训练好的YOLO V3算法在彩色图像中检测羽毛球的位置,如果否,则返回通过图像帧差法获取存在羽毛球运动的深度图像和彩色图像步骤。
优选地,通过训练好的YOLO V3算法在彩色图像中检测羽毛球的位置具体包括:首先进行特征提取,然后进行多尺度预测,再通过非极大值抑制算法进行筛选获取最优检测框,以检测得到羽毛球的位置。
优选地,步骤S2具体包括:根据步骤S1计算出的羽毛球在空间坐标系中的位置获取多组前n帧图像中羽毛球在空间中的运动位置信息、落地位置和时间,将这些数据利用BP神经网络进行训练,得到训练模型后,将步骤S1计算出的羽毛球在空间坐标系中的位置输入到训练模型中,预测得到羽毛球的落地点和落地时间。
优选地,步骤S3具体包括:根据步骤S2得到的羽毛球的落地点和落地时间,并从所述传感模块获取所述羽毛球机器人的当前位置,根据模糊PID算法控制所述第一驱动单元和所述第二驱动单元移动的角度和速度。
本发明的一个实施例公开了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,所述计算机可执行指令促使处理器实现上述的羽毛球机器人的控制方法的步骤。
与现有技术相比,本发明的有益效果在于:本发明公开的羽毛球机器人将麦克纳姆轮组成的水平移动底盘与具有多自由度的绳驱柔性臂进行结合,保证羽毛球可以自由移动的同时,实现各种击球动作,而且绳驱结构的柔性臂相比于传统的机械臂,它的重心多集中在底座部分,这样就保证了羽毛球机器人在移动过程中的稳定性;此外由于绳驱柔性臂的关节特点,使其关节具有更好的灵活性,扩大机器人机械臂的移动空间;因此,本发明的羽毛球机器人具有重心稳定、关节灵活、可以实现多种复杂击球动作等优点。
在进一步的方案中,采用YOLO V3算法对羽毛球的位置进行检测,提高羽毛球位置的检测精度。采用基于BP神经网络的羽毛球轨迹预测算法,通过采集实际情况下的羽毛球在空中的运动轨迹作为训练数据,可以得到稳定的神经网络模型,再基于该稳定的神经网络模型对羽毛球机器人中的羽毛球落点进行预测,提高精度,从而解决传统动力学拟合方法精度低、稳定性差的问题。采用模糊PID算法进行机器人位姿的控制,针对羽毛球机器人不同的姿态和位置动态调整各个模块PID参数,相对于单纯的PID算法该算法具有更好的稳定性和精确性。综合前述,本发明提供的羽毛球机器人系统和控制方法有效的提高了羽毛球机器人的灵活性和击球精度,将羽毛球机器人真正可以应用到实际生活中。
附图说明
图1是本发明优选实施例的羽毛球机器人的结构示意图;
图2是本发明优选实施例的羽毛球机器人系统的结构框图;
图3是本发明优选实施例的羽毛球机器人系统的工作流程图;
图4是本发明优选实施例的羽毛球机器人的控制方法的流程图;
图5是YOLO V3算法的具体流程;
图6是BP神经网路的结构示意图;
图7是对BP神经网络进行训练的流程图;
图8是控制模块的具体工作流程图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
羽毛球机器人主要涉及机械结构设计、击球动作设计、羽毛球追踪算法设计、落点预测算法设计。在机械结构设计设计上现有的羽毛球机器人主要采用底盘固定式多自由度机器人和底盘可移动式单自由度机器人,固定式多自由度机器人虽然击球方式多样,但受限于击球范围的限制,只能对到达机械臂可达空间的羽毛球进行击打,而可移动式单自由度机器人虽然击球范围大,但是击球的灵活性低,击球方式单一,无法完成多种击球动作。而由于羽毛球扣杀等动作需要较高的自由度和动力,并要保证在挥拍时羽毛球拍的高度要高于球网,但是这样会引起羽毛球机器人的重心偏高,在机器人快速移动时极易产生重心不稳的情况。基于上述的问题,本发明优选实施例提出了一种基于柔性臂的羽毛球机器人的设计方案及控制方法。
如图1所示,本发明优选实施例公开的羽毛球机器人100,包括水平运动模块10、击球模块20和传感模块30,水平运动模块10包括基座11、第一驱动单元12和多个麦克纳姆轮13,第一驱动单元12和多个麦克纳姆轮13分别连接在基座11上,第一驱动单元12连接多个麦克纳姆轮13并用于驱动多个麦克纳姆轮13;击球模块20包括第二驱动单元21、绳驱柔性臂22和球拍23,球拍23连接在绳驱柔性臂22的第一端部,第二驱动单元21连接在绳驱柔性臂22的第二端部以用于驱动绳驱柔性臂22,第二驱动单元21连接设置在基座上,本实施例中,第二驱动单元21包括底座、步进电机、丝杆导轨、驱动绳连接件等结构;传感模块30设置在水平运动模块10或击球模块20上以用于感应羽毛球机器人的当前位置。
当前的羽毛球机器人存在击球动作单一、末端操作不灵活等问题,而羽毛球扣杀等动作需要较高的自由度和动力,并要保证在挥拍时羽毛球拍的高度要高于球网,但是这样会引起羽毛球机器人的重心偏高,在机器人快速移动时极易产生重心不稳的情况。基于此,本发明优选实施例所设计的该羽毛球机器人的底盘采用麦克纳姆轮移动平台,击球模块采用绳驱柔性臂,其中绳驱结构的柔性臂相比传统的机械臂,它的重心多集中在底座部分(也即第二驱动单元21设置的位置处),这样就保证了它在移动过程中的稳定性;此外由于绳驱柔性臂的关节特点,使其关节具有更好的灵活性,扩大机器人机械臂的移动空间。
因此,本实施例提供的羽毛球机器人设计了底盘可移动的绳驱多自由度柔性臂羽毛球机器人结构,可以在保证羽毛球机器人快速移动的同时保证重心稳定,并且可以实现扣杀等设计灵活多样的击球方式,实现对各个角度羽毛球的回击。
如图2所示,本发明优选实施例还公开了一种羽毛球机器人系统,包括上述的羽毛球机器人100、图像识别模块200、轨迹预测模块300和控制模块400。
图像识别模块200主要负责场景中深度图像和彩色的采集和获取,通过训练好的YOLO V3算法在彩色图像中检测羽毛球的位置,将彩色图像中羽毛球的位置映射到深度图像中,并计算出羽毛球在空间坐标系中的x、y、z的位置。
轨迹预测模块300主要负责羽毛球轨迹拟合和落点预测,保证可以准确的捕捉到羽毛球的运动轨迹,通过BP神经网络利用前几帧获得的羽毛球的坐标位置对羽毛球的运动轨迹进行拟合,得到羽毛球的落地点和落地时间。
控制模块400主要负责控制机器人底盘的运动,校正底盘的姿态,控制机械臂的运动,在控制机器人底盘运动是主要采用了PID算法,利用编码器、陀螺仪对底盘的二维平面坐标和姿态角进行校准。
该羽毛球机器人系统的硬件组成如表1所示,包括深度相机、计算机和单片机,其中深度相机用于图像采集,计算机用于目标检测、轨迹预测,单片机放置在机器人上,用于机器人位置控制和与计算机通信。
表1羽毛球机器人系统的硬件组成
本实施例中在羽毛球追踪上采用realsense D435i深度相机作为图像采集工具,它可以直接输出空间中的深度信息和彩色信息,并且帧率可以达到90fps/s,满足羽毛球机器人设计要求。
如图3所示,羽毛球机器人系统首先通过深度相机采集场景的深度、彩色信息完成图像采集,将数据传输到处理器端之后,利用目标捕捉算法进行羽毛球位置捕捉以进行目标识别,得到羽毛球的位置、时间坐标信息之后对羽毛球的轨迹进行拟合和落点预测以进行轨迹预测,根据羽毛球落球点的位置和落球时的速度控制机器人的移动,并在运行时实时反馈机器人的速度、姿态信息,动态调整羽毛球机器人运动参数以进行控制分析。
如图4所示,本发明优选实施例还公开了一种羽毛球机器人的控制方法,用于对羽毛球机器人进行控制,包括以下步骤:
S1:获取场景内的深度图像和彩色图像,以计算出羽毛球在空间坐标系中的位置;
具体地,图像识别模块采用YOLO V3算法,相比于之前的检测算法YOLO V2算法具有更高的精度和更快的运行速度,可以满足羽毛球实时检测的需要,YOLO V3算法是一种单阶段的目标检测算法,采用了Multi-Scale Training(多尺度训练),在迭代的过程中不断调整网络的输入尺寸,来获取最好的识别检测效果。
如图5所示,YOLO V3算法的具体流程为:
A1:图像帧差:通过帧差法获取可能存在羽毛球运动的图像。
A2:判断图像中是否存在羽毛球,如果是,则执行步骤A3,如果否,则返回步骤A1。
A3:图像预处理:将图像裁剪为416*416*3的RGB彩色图像;
A4:将经过图像标注和网络训练得到的YOLO V3算法进行初始化;
A5:特征提取:利用darknet-53网络的前52层(没有全连接层)进行特征提取,利用步长为2的网络进行下采样。
A6:多尺度预测:为了加强对小目标的检测方法,YOLO V3算法采用多尺度预测,将图像融合后输出3层,每层S*S个网格,分别为13*13,26*26,52*52,利用然后每个单元格负责去检测那些中心点落在该格子内的目标,每个单元格需要测3*(4+1+B)个值,如果将输入图片划分为S*S网格,那么每层最终预测值为S*S*3*(4+1+B)大小的张量。B为类别数(训练数据集中的类别数为80类),即B=80。3为每层anchorbox数量,4为边界框大小和位置(x,y,w,h)1为置信度。
A7:NMS筛选以获取最优检测框:通过NMS(非极大值抑制,作用:去除冗余的检测框,保留最好的一个)。筛选出框boxes,输出框class_boxes和置信度class_box_scores,再生成类别信息classes,生成最终的检测数据框,并返回。
A8:根据获取的羽毛球坐标获取羽毛球空间位置:获得检测到的羽毛球的坐标位置之后,与深度图像中对应的像素点的位置做映射,从而确定羽毛球在深度空间中的位置。
现有的羽毛球追踪算法多采用帧差法和背景差法等,这些传统检测方法对环境敏感极易受到环境因素的影响、稳定性差。本实施例中利用深度相机对羽毛球进行采集,采用YOLO V3算法对羽毛球的位置进行检测,提高羽毛球位置的检测精度。
S2:根据步骤S1计算出的羽毛球在空间坐标系中的位置结合BP神经网络,以得到羽毛球的落地点和落地时间;
一般常用的羽毛球轨迹预测算法多采用轨迹拟合和物理模型拟合的方法,在该发明中提出了一种新的羽毛球轨迹预测方法,可以在不进行轨迹拟合的情况下直接获得羽毛球的落点和时间。首先利用目标检测算法获取多组羽毛球前n帧图像中羽毛球在空间中的运动位置信息和落点位置和时间,将这些数据利用BP神经网络进行训练,得到训练模型后,将模型应用到羽毛球落地点位置和时间预测中。
如图7所示,对BP神经网络进行训练的步骤如下:
B1:数据采集:利用目标检测算法获取多组羽毛球前n帧图像中羽毛球在空间中的运动位置信息和落点位置和时间;
B2:初始化网络权值;
B3:该样本迭代次数初始化;
B4:前向求出各个隐藏层和输出层的输出;
B5:求出输出与预取输出的插值;
B6:反求所有隐藏层的误差;
B7:调整权值和网络参数;
B8:判断是否该样本完成训练,如果是,则执行步骤B9,如果否,则返回至步骤B4;
B9:调整权值和网络参数;
B10:判断是否所有样本完成训练,如果是,则执行步骤B11,如果否,则返回步骤B3;
B11:输入下一样本;
B12:训练完成。
现有的羽毛球机器人在轨迹预测上多采用动力学方程拟合法,动力学方程拟合的方法对羽毛球参数、环境参数要求高,当改变应用环境或者羽毛球的形状发生变化时就不能精准的羽毛球的落点。而本实施例中采用BP神经网络直接对羽毛球的落点进行预测,不需要进行曲线拟合,相比于动力学方程拟合的方式,该方法不受环境、羽毛球形状规格的影响,可以更好的适应多变的羽毛球场景。
本实施例设计的上述预测算法可以解决羽毛球动力学建模求轨迹时,轨迹方程复杂、参数敏感等问题,提高羽毛球轨迹的拟合精度。
S3:根据步骤S2得到的羽毛球的落地点和落地时间以及传感模块感应的所述羽毛球机器人当前的位置来控制所述第一驱动单元和所述第二驱动单元。
如图8所示,控制模块在得到羽毛球的落地位置和机器人当前的初始位置之后,利用PID算法控制电机移动的角度和速度,根据羽毛球的落点(x,y)坐标利用模糊控制算法来对机器人的位置进行控制。
现有技术中在机器人位置控制上多采用PID控制方法,其中羽毛球机器人对位置、姿态、速度等精度要求很高,单一的PID算法很难满足多个变量调整的需求。本实施例中采用模糊PID算法进行机器人位姿的控制,针对羽毛球机器人不同的姿态和位置动态调整各个模块PID参数,相对于单纯的PID算法该算法具有更好的稳定性和精确性。
本发明还有一实施例公开一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,所述计算机可执行指令促使处理器实现上述的羽毛球机器人的控制方法的步骤。
综合上述,本发明公开了一种基于绳驱柔性臂的羽毛球机器人设计和控制方法,本系统包括羽毛球机器人机构设计和算法设计。算法设计包括羽毛球击球动作设计、羽毛球追踪算法设计、落点预测算法设计。羽毛球机器人机构设计提出了一种底盘可移动式的绳驱柔性臂击球结构。在羽毛球机器人动作设计上根据人类击球方式设计了发高远球、内旋击球等击球动作,并根据羽毛球落点的角度和速度选择击球方式。落点预测算法主要负责羽毛球落点位置的预测,使用了基于BP神经网络的羽毛球轨迹预测算法对羽毛球的落点位置进行实时预测。本发明可以实现精准多样的羽毛球击球动作,保证羽毛球机器人运动的灵活可靠,解决了现有羽毛球机器人击球方式单一、灵活性差等问题。具体地,在视觉追踪上采用基于TOF的深度相机进行目标检测,利用YOLO V3算法对羽毛球在彩色图像中的位置进行识别和追踪,之后再映射到深度图像中。其中,利用YOLO V3深度学习算法相比与其他算法在小目标检测精度和检测速度上有很大提升,通过训练可以显著提高羽毛球的识别精度。
本发明公开的羽毛球机器人系统具有以下功能:机器人在平面任意位置移动的功能,多自由度灵活击球的功能,羽毛球目标追踪的功能,羽毛球轨迹预测拟合和落点预测的功能,羽毛球机器人与计算机通过wifi通信的功能,羽毛球底盘快速移动和方向校正的功能。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (10)
1.一种羽毛球机器人,其特征在于,包括水平运动模块、击球模块和传感模块,所述水平运动模块包括基座、第一驱动单元和多个麦克纳姆轮,所述第一驱动单元和多个所述麦克纳姆轮分别连接在所述基座上,所述第一驱动单元连接多个所述麦克纳姆轮以用于驱动多个所述麦克纳姆轮;所述击球模块包括第二驱动单元、绳驱柔性臂和球拍,所述球拍连接在所述绳驱柔性臂的第一端部,所述第二驱动单元连接在所述绳驱柔性臂的第二端部以用于驱动所述绳驱柔性臂,所述第二驱动单元连接设置在所述基座上以使得所述绳驱柔性臂的重心集中在所述基座处;所述传感模块设置在所述水平运动模块或所述击球模块上。
2.一种羽毛球机器人系统,其特征在于,包括权利要求1所述的羽毛球机器人、图像识别模块、轨迹预测模块和控制模块,其中:
所述图像识别模块被配置为获取场景内的深度图像和彩色图像以计算出羽毛球在空间坐标系中的位置;
所述轨迹预测模块被配置为根据所述图像识别模块计算出的羽毛球在空间坐标系中的位置结合BP神经网络,以预测得到羽毛球的落地点和落地时间;
所述控制模块连接所述第一驱动单元和所述第二驱动单元,以用于根据所述轨迹预测模块得到的羽毛球的落地点和落地时间以及所述传感模块感应的所述羽毛球机器人当前的位置来控制所述第一驱动单元和所述第二驱动单元。
3.一种羽毛球机器人的控制方法,其特征在于,用于对权利要求1所述的羽毛球机器人进行控制,包括以下步骤:
S1:获取场景内的深度图像和彩色图像,以计算出羽毛球在空间坐标系中的位置;
S2:根据步骤S1计算出的羽毛球在空间坐标系中的位置结合BP神经网络,以预测得到羽毛球的落地点和落地时间;
S3:根据步骤S2得到的羽毛球的落地点和落地时间以及所述传感模块感应的所述羽毛球机器人当前的位置来控制所述第一驱动单元和所述第二驱动单元。
4.根据权利要求3所述的羽毛球机器人的控制方法,其特征在于,步骤S1具体包括:获取场景内的深度图像和彩色图像,通过训练好的YOLO V3算法在彩色图像中检测羽毛球的位置,并将彩色图像中羽毛球的位置映射到深度图像中,计算出羽毛球在空间坐标系中的位置。
5.根据权利要求4所述的羽毛球机器人的控制方法,其特征在于,通过训练好的YOLOV3算法在彩色图像中检测羽毛球的位置之前还包括:通过图像帧差法获取存在羽毛球运动的深度图像和彩色图像,然后判断深度图像和彩色图像中是否存在羽毛球,如果是,则通过训练好的YOLO V3算法在彩色图像中检测羽毛球的位置,如果否,则返回通过图像帧差法获取存在羽毛球运动的深度图像和彩色图像步骤。
6.根据权利要求3所述的羽毛球机器人的控制方法,其特征在于,通过训练好的YOLOV3算法在彩色图像中检测羽毛球的位置具体包括:首先进行特征提取,然后进行多尺度预测,再通过非极大值抑制算法进行筛选获取最优检测框,以检测得到羽毛球的位置。
7.根据权利要求3所述的羽毛球机器人的控制方法,其特征在于,步骤S2具体包括:根据步骤S1计算出的羽毛球在空间坐标系中的位置获取多组前n帧图像中羽毛球在空间中的运动位置信息、落地位置和时间,将这些数据利用BP神经网络进行训练,得到训练模型后,将步骤S1计算出的羽毛球在空间坐标系中的位置输入到训练模型中,预测得到羽毛球的落地点和落地时间。
9.根据权利要求3所述的羽毛球机器人的控制方法,其特征在于,步骤S3具体包括:根据步骤S2得到的羽毛球的落地点和落地时间,并从所述传感模块获取所述羽毛球机器人的当前位置,根据模糊PID算法控制所述第一驱动单元和所述第二驱动单元移动的角度和速度。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,所述计算机可执行指令促使处理器实现权利要求3至9任一项所述的羽毛球机器人的控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011470997.9A CN112494915B (zh) | 2020-12-14 | 2020-12-14 | 一种羽毛球机器人及其系统和控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011470997.9A CN112494915B (zh) | 2020-12-14 | 2020-12-14 | 一种羽毛球机器人及其系统和控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112494915A CN112494915A (zh) | 2021-03-16 |
CN112494915B true CN112494915B (zh) | 2022-04-26 |
Family
ID=74973166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011470997.9A Active CN112494915B (zh) | 2020-12-14 | 2020-12-14 | 一种羽毛球机器人及其系统和控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112494915B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116421953A (zh) * | 2023-06-15 | 2023-07-14 | 苏州城市学院 | 基于深度学习的网球训练方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729295B (zh) * | 2017-10-19 | 2021-07-06 | 广东工业大学 | 一种羽毛球的实时落点预判方法、平台及设备 |
CN207871441U (zh) * | 2017-10-30 | 2018-09-18 | 广东工业大学 | 一种羽毛球机器人 |
CN110648362B (zh) * | 2019-09-11 | 2022-09-23 | 商丘师范学院 | 一种双目立体视觉的羽毛球定位识别与姿态计算方法 |
CN111369629B (zh) * | 2019-12-27 | 2024-05-24 | 浙江万里学院 | 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 |
-
2020
- 2020-12-14 CN CN202011470997.9A patent/CN112494915B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112494915A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102045439B1 (ko) | 가상 테니스 시뮬레이션 시스템, 이에 이용되는 센싱장치 및 센싱방법 | |
KR101078975B1 (ko) | 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법 | |
JP5858261B2 (ja) | 仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法 | |
KR101048089B1 (ko) | 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법 | |
WO2011009302A1 (zh) | 一种基于多跟踪点的人体动作识别方法 | |
US8734264B2 (en) | System and method for measurement and analysis of behavior of golf club head in golf swing | |
CN111369629B (zh) | 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 | |
US20160296795A1 (en) | Apparatus and method for analyzing golf motion | |
CN112494915B (zh) | 一种羽毛球机器人及其系统和控制方法 | |
KR101972526B1 (ko) | 스크린 골프 사용자의 골프 스윙 자세 교정 시스템 | |
CN115100744A (zh) | 一种羽毛球比赛人体姿态估计和球路追踪方法 | |
WO2018076170A1 (en) | A camera system for filming golf game and the method for the same | |
US20230285832A1 (en) | Automatic ball machine apparatus utilizing player identification and player tracking | |
CN109464798B (zh) | 一种传感数据驱动的斯诺克辅助练习方法 | |
KR101906847B1 (ko) | 공 이미지 촬영을 위한 관심 영역을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
KR102517067B1 (ko) | 두 대의 카메라를 이용한 천장형 골프 시뮬레이션 시스템 | |
TWI728895B (zh) | 互動式球場系統 | |
KR102361029B1 (ko) | 골프에 관한 콘텐츠를 추천하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
KR101078954B1 (ko) | 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법 | |
CN110960843A (zh) | 一种篮球技巧辅助训练系统 | |
TWI775637B (zh) | 高爾夫揮桿解析系統、高爾夫揮桿解析方法及資訊記憶媒體 | |
KR102439549B1 (ko) | 골프스윙에 대한 센싱장치 및 이를 이용한 클럽헤드의 임팩트 위치 센싱방법 | |
Mokayef et al. | Embedded Ball Launcher with Trajectory Path Analysis for Empowering Junior Table Tennis Players | |
US20230364468A1 (en) | Deep learning method of determining golf swing and golf ball parameters from radar signal and image data | |
KR20230167983A (ko) | 인공지능 기반 골프 스윙 분석 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |