CN111369629A - 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 - Google Patents
一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 Download PDFInfo
- Publication number
- CN111369629A CN111369629A CN201911375580.1A CN201911375580A CN111369629A CN 111369629 A CN111369629 A CN 111369629A CN 201911375580 A CN201911375580 A CN 201911375580A CN 111369629 A CN111369629 A CN 111369629A
- Authority
- CN
- China
- Prior art keywords
- racket
- badminton
- ball
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000009471 action Effects 0.000 title claims abstract description 23
- 230000016776 visual perception Effects 0.000 title claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000001133 acceleration Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 230000004438 eyesight Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 210000003746 feather Anatomy 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims 1
- 230000004044 response Effects 0.000 abstract description 4
- 238000012216 screening Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002860 competitive effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B67/00—Sporting games or accessories therefor, not provided for in groups A63B1/00 - A63B65/00
- A63B67/18—Badminton or similar games with feathered missiles
- A63B67/183—Feathered missiles
- A63B67/187—Shuttlecocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Abstract
本发明公开了一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法，将击球前球拍轨迹作为羽毛球轨迹预测的重要依据，把预测时间点从球拍离球后提到球拍触球前，争取更多的时间，以提高羽毛球机器人快速反应能力、击球点优化能力、击球主动性和竞技水平。具体过程是：首先标定双目相机，对采集的击球双目图像进行去噪、校正畸变，再通过帧差法识别运动区域，利用轮廓形状、面积特征检测出羽毛球和球拍，提取相应特征点，依据极线约束原理匹配双目图像，计算特征点视差和深度，求取特征点坐标，根据界线筛除场外无效运动目标，计算出有效目标运动参数，作为神经网络输入进行学习或预测，最后利用卡尔曼滤波对回球的中长期轨迹作预测计算。
Description
技术领域
本发明属于图像信息技术领域，具体的为在羽毛球运动中，基于挥拍击球动作双目图像序列分析，对来球轨迹进行预测的方法，可用于羽毛球机器人系统的视觉感知或羽毛球数字化辅助训练。
背景技术
近年来，基于视觉的目标检测、跟踪与轨迹预测方法快速兴起并得到了广泛应用。对羽毛球轨迹进行预测，可以用于球员的辅助训练，也可以作为羽毛球机器人的必要信息输入。专利号为CN109087327A的专利公开了一种基于计算机视觉的羽毛球落点位置预测方法。
羽毛球运动是球速极快的持拍隔网对抗运动。在竞技时,不仅要通过对手击球前挥拍动作来判断来球轨迹,也需要根据决策结果确定回球线路进而规划己方的挥拍动作。球场、球拍和球等客观条件相对稳定的情况下，羽毛球的来球轨迹取决于两方面的因素，回球轨迹和对方选手击球前的挥拍动作。大力击球时甚至只取决于挥拍动作。因而，对对方挥拍回球动作进行分析，可以预判来球轨迹和落点。
目前的羽毛球轨迹预测方法，一般是利用羽毛球被球拍击打后一时间段内的飞行轨迹，来逐点逐段预测之后的轨迹。当球速较慢或飞行距离较长时，此方法行之有效。而球速较快或飞行距离较短时，计算、通信、执行系统往往反应不及，导致击球失败。
发明内容
有鉴于此，为提高羽毛球机器人击球成功率，本发明充分利用回球末端轨迹和对方挥拍击球动作预测来球轨迹，将预测时间提前，从而尽可能早地得到预测结果，为后续的其他计算、通信、执行等步骤预留出更充足的时间，提高羽毛球机器人的敏捷性，强化反应能力，优化击球点。
为达到上述目的，本发明提供如下技术方案：
本发明提供的基于挥拍击球动作双目视觉感知的回球轨迹预测方法，，包括如下步骤：
步骤1、对双目相机进行标定；
步骤2、通过双目相机采集打球图像；
步骤3、对打球图像预处理；
步骤4、识别经预处理的打球图像的运动区域并进行图像分割；
步骤5、检测球拍区域和羽毛球区域；
步骤6、对球拍区域和羽毛球区域的特征点进行检测；
步骤7、对球拍区域和羽毛球区域进行图像匹配；
步骤8、对球拍区域和羽毛球区域进行深度计算；
步骤9、确定场内羽毛球球托质心位置和球拍拍面位姿；
步骤10、判断球拍的拍面区域与羽毛球区域的位置关系，若球拍的拍面区域与羽毛球区域距离小于预设阈值，转步骤11；否则，转步骤2；
步骤11、根据先前球拍拍面区域与羽毛球区域计算羽毛球运动状态参数和球拍拍面运动状态参数；
步骤12、构建神经网络并将羽毛球运动状态参数和球拍拍面运动状态参数输入到神经网络中进行计算，预测下一时刻羽毛球离拍运动状态；
步骤13、根据下一时刻羽毛球离拍运动状态通过基于卡尔曼滤波方法计算羽毛球回球轨迹信息；
步骤14、输出羽毛球回球轨迹信息。
进一步，所述步骤12中通过神经网络来预测下一时刻羽毛球离拍运动状态是通过以下步骤来实现的：
步骤121：根据羽毛球运动状态参数和球拍拍面运动状态参数计算球头和球拍之间的距离，并判断球头和球拍距离是否小于预设阈值，如果否，则转入步骤2；
步骤122：如果是，则将羽毛球运动状态参数和球拍拍面运动状态参数输入到神经网络的训练过程，并预测t(i)+T时刻羽毛球离拍运动状态；
步骤123：判断神经网络的训练过程是否训练完成，如果否，则采集下一次击球图像并转步骤2；如果是，则输出羽毛球t(i)+T时刻离拍运动状态参数；
其中，t(i)表示当前时刻，T为根据相机采集频率确定的可调时间增量。
进一步，步骤6所述的球拍和羽毛球特征点检测，具体步骤包括：
步骤61：获取球拍轮廓图像并提取球拍的拍杆；
步骤62：识别球拍的拍框预设特征位置；
步骤63：获取羽毛球轮廓图像并提取球托轮廓；
步骤64：计算当球托是否被羽毛球的羽毛遮挡时的整个羽毛球轮廓图像的质心，并作为球托质心。
进一步，步骤7所述的双目图像匹配是利用极线约束原理对左右球拍轮廓图像中的步骤6所提取的特征点进行对应匹配。
进一步，步骤8所述的深度计算，用于消除场外无效运动羽毛球和球拍信息，具体步骤包括：步骤81：获取图像中羽毛球、球拍的视差图；
步骤82：根据双目视觉的几何关系，将视差图转换为深度图；
步骤83：根据深度图并结合球场物理坐标系和相机坐标系的转换关系计算羽毛球、球拍质心的三维坐标；
步骤84：根据球场的标准长度、标准宽度和经验高度，构建略大于实际球场尺寸的空间长方体边界包围盒；
步骤85：将羽毛球、球拍的三维坐标值与边界包围盒做比较，消除包围盒外无效运动羽毛球和球拍信息，保留场内羽毛球和球拍三维坐标数据。
进一步，步骤9所述的确定场内羽毛球球托质心位置和球拍拍面位姿，具体步骤包括：
确定球拍上的局部坐标系，选取球拍拍框的预设特征位置为球拍拍面坐标系的原点，以拍杆轴线为x轴，在拍面内垂直于拍杆方向为y轴，以右手法则确定z轴，球场坐标系任意一点表达为Pw，此点与拍面局部坐标系下的Pj点之间按照以下公式实现两个坐标系下的坐标变换：
Pj＝RptPw-Tpb
其中,Tpb为球拍拍面与拍杆交点在球场坐标系中的坐标，拍面的姿态信息通过下式求出：
其中，Tpb表达了球拍拍面的位置信息，Rpt表达了球拍拍面的姿态信息，x0表示球拍拍面质心在世界坐标系下x轴方向的位移，y0表示球拍拍面质心在世界坐标系下y轴方向的位移，z0表示球拍拍面质心在世界坐标系下z轴方向的位移，θz为球拍拍面绕z轴的偏转角度，θx为球拍拍面绕x轴的俯仰角度，θy为球拍拍面绕y轴的滚转角度。
进一步，步骤11所述的羽毛球和球拍拍面运动状态参数计算，具体步骤是：
步骤111：羽毛球和球拍拍面运动的速度值或角速度值是当前帧位置与前面某帧所计算位置之差与两帧间隔时间的比值；
步骤112：羽毛球和球拍拍面运动的加速度值或角加速度值是当前帧位置与前面某帧所计算速度值或角速度值之差与两帧间隔时间的比值。
进一步，步骤122所述的神经网络训练过程的输入参数包括羽毛球和球拍拍面的运动状态参数，包括羽毛球和球拍拍面在世界坐标系下x,y,z三个方向位置、速度、加速度以及绕x,y,z 三轴旋转的角位置、角速度、角加速度；
神经网络的输出值包括羽毛球离拍时的位置、速度、加速度；
计算输出值与实测值偏差，判断偏差是否小于阈值，如果是，则训练结束；
否则，采集下一次挥拍击球动作图像，继续训练；
其中，实测值是羽毛球被击打离开球拍时得到的图像。
进一步，步骤13所述的基于卡尔曼滤波方法的羽毛球回球中长期轨迹计算，具体步骤包括：步骤131：确定羽毛球球托质心的状态向量如下：
X＝[x,y,z,α,β,γ,vx,vy,vz,ωx,ωy,ωz,ax,ay,az,εx,εy,εz]
其中，状态变量依次为笛卡尔坐标x,y,z；
绕三个坐标轴的转角α,β,γ；
沿三个坐标轴方向的速度vx,vy,vz；
绕三个坐标轴旋转的角速度ωx,ωy,ωz；
沿三个坐标轴方向的加速度ax,ay,az；
绕三个坐标轴旋转的角加速度εx,εy,εz；
步骤132：状态方程
观测方程Yi＝HiXi+Vi；
其中，
是状态转移矩阵；
Xi是i时刻羽毛球球托质心的状态向量；
Wi-1是系统状态在时刻ti-1时的随机噪声干扰向量，
Yi是观测到的系统状态向量，
Hi是观测矩阵，
Vi是ti时刻系统的观测噪声向量；
步骤133：定义
是Xi的后验状态估计，Pi表示两者之间的误差协方差矩阵，
是Xi的先验状态估计，Pi′是两者之间的误差协方差矩阵，Ki为卡尔曼滤波增益系数矩阵；
步骤134：在t0时刻，将运动状态参数作为状态向量后验状态估计的初始值；
在ti时刻，对系统的状态进行预测
在ti时刻，对系统的状态按照以下公式进行更新：
其中，
Pi＝(1-KiHi)Pi′；
其中，E表示求期望的符号。
进一步，步骤5所述的球拍区域和羽毛球区域的检测，具体包括：
利用Prewitt算子、Sobel算子或Canny算子进行边缘检测，快速提取图像中球拍和羽毛球轮廓，根据图像中羽毛球和球拍的形状、面积不同，利用傅里叶描述子识别出球拍和羽毛球。
本发明的有益效果在于：通过双目视觉对目标羽毛球和球拍的位姿测量跟踪，将对方回球轨迹的预测从球拍击球后提前到球拍击球前，从而为羽毛球机器人争取更多的控制计算、通讯反应的时间，提高击球成功率，优化击球点和回球路线，最终达到强化羽毛球机器人系统对来球判断的快速反应能力，提高羽毛球机器人敏捷性和竞技能力的目的。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明预测方法的算法流程图。
图2为现有预测方法示意图。
图3为本发明预测方法示意图。
图中，击球点-1、预测数据获取-2、轨迹预测计算-3、拦截击打点-4、来球线路-5、回球线路-6。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1所示，本发明的实现步骤如下：
步骤1、双目相机标定。得到相机的焦距、光心坐标、成像、畸变参数以及相机之间的刚体变换关系，确定双目相机的安装位置，构建球场物理坐标系与相机坐标系之间的对应关系，利用球场场地边界线，建立有效运动空间。
步骤2、双目相机采集打球图像，传至图像处理模块；
步骤3、图像预处理，去除噪声，校正畸变；
步骤4、利用帧差法识别图像运动区域并进行图像分割；
步骤5、球拍和羽毛球的检测与识别；具体步骤包括：
利用Prewitt算子、Sobel算子或Canny算子等进行边缘检测，快速提取图像中球拍和羽毛球轮廓。根据图像中羽毛球和球拍的形状、面积不同，利用傅里叶描述子识别出球拍和羽毛球。
步骤6、球拍和羽毛球特征点检测；具体步骤包括：对球拍轮廓图像，利用Hough直线检测或LSD直线检测方法提取球拍拍杆，然后依次识别球拍拍框6点位置(拍框与拍杆交点)、12 点位置(拍柄向下时的拍框最高点)、3点和9点位置。对羽毛球轮廓图像，利用Hough圆检测方法提取球托轮廓，当球托轮廓可见时，计算球托的质心，当球托刚好被羽毛遮挡不可见时，计算整个羽毛球轮廓图像的质心，以此代替球托质心。
步骤7、双目图像匹配；具体地，利用极线约束原理对左右球拍轮廓图像中的步骤6所提取的特征点进行对应匹配。
步骤8、深度计算，消除场外无效运动羽毛球和球拍信息；具体步骤包括：
(1)SGBM算法获取图像中羽毛球、球拍的视差图；
(2)根据双目视觉的几何关系，将视差图转换为深度图；
(3)根据深度图并结合球场物理坐标系和相机坐标系的转换关系计算羽毛球、球拍质心的三维坐标；
(4)根据球场的标准长度、标准宽度和经验高度，构建略大于实际球场尺寸的空间长方体边界包围盒；
(5)将羽毛球、球拍的三维坐标值与边界包围盒做比较，消除包围盒外无效运动羽毛球和球拍信息，保留场内羽毛球和球拍三维坐标数据；
步骤9、确定场内羽毛球和球拍拍面位置和姿态。具体步骤包括：
确定球拍上的局部坐标系，选取球拍拍框6点位置为球拍拍面坐标系的原点，以拍杆轴线为 x轴，在拍面内垂直于拍杆方向为y轴，以右手法则确定z轴。球场坐标系任意一点可表达为 Pw＝(x,y,z)T,此点与拍面局部坐标系下的Pj＝(xj,yj,zj)T点之间存在如下关系:
Pj＝RptPw-Tpb
其中,Tpb为球拍拍面与拍杆交点在球场坐标系中的坐标。拍面的姿态信息可以通过下式求出:
Tpb表达了球拍拍面的位置信息，Rpt表达了球拍拍面的姿态信息,其中x0表示球拍拍面质心在世界坐标系下x轴方向的位移,y0表示球拍拍面质心在世界坐标系下y轴方向的位移,z0表示球拍拍面质心在世界坐标系下z轴方向的位移,-θz为球拍拍面绕z轴的偏转角度,-θx为球拍拍面绕x轴的俯仰角度,-θy为球拍拍面绕y轴的滚转角度。
步骤10、判断球拍拍面与羽毛球的位置关系，若球拍拍面与羽毛球距离小于阈值，转步骤12；否则，转步骤2；
步骤11、羽毛球运动状态参数计算和球拍拍面运动状态参数计算。具体步骤是
(1)羽毛球和球拍拍面运动的速度值或角速度值是当前帧位置与前面某帧所计算位置之差与两帧间隔时间的比值；
(1)羽毛球和球拍拍面运动的加速度值或角加速度值是当前帧位置与前面某帧所计算速度值或角速度值之差与两帧间隔时间的比值；
步骤12、基于神经网络的羽毛球离拍运动状态参数预测；具体地，若神经网络已训练完成，则直接计算神经网络输出值得到羽毛球离拍运动状态参数；若神经网络尚需训练，则将羽毛球和球拍拍面的运动状态参数，包括x,y,z三个方向位置、速度、加速度以及绕x,y,z三轴旋转的角位置、角速度、角加速度等共36个参数作为神经网络的输入，羽毛球离拍时的位置、速度、加速度作为神经网络的输出，与实测值比较，直至偏差小于阈值，训练结束，否则，采集下一次挥拍击球动作图像，继续训练。其中实测值可以由步骤3到步骤9的方法处理羽毛球被击打离开球拍时的图像得到。
步骤13、基于卡尔曼滤波方法的羽毛球回球中长期轨迹计算；具体步骤包括：
(1)确定羽毛球球托质心的状态向量如下：
X＝[x,y,z,α,β,γ,vx,vy,vz,ωx,ωy,ωz,ax,ay,az,εx,εy,εz]
其中，状态变量依次为笛卡尔坐标x,y,z，绕三个坐标轴的转角α,β,γ，沿三个坐标轴方向的速度vx,vy,vz,绕三个坐标轴旋转的角速度ωx,ωy,ωz，沿三个坐标轴方向的加速度ax,ay,az，绕三个坐标轴旋转的角加速度εx,εy,εz.
(2)状态方程
观测方程Yi＝HiXi+Vi。
是状态转移矩阵，Wi-1是系统状态在时刻ti-1时的随机噪声干扰向量，Yi是观测到的系统状态向量，Hi是观测矩阵，Vi是ti时刻系统的观测噪声向量。
(3)定义
是Xi的后验状态估计，Pi表示两者之间的误差协方差矩阵，
是Xi的先验状态估计，Pi′是两者之间的误差协方差矩阵，Ki为卡尔曼滤波增益系数矩阵。
(4)在t0时刻，将步骤12得到的运动状态参数作为状态向量后验状态估计的初始值；在ti时刻，对系统的状态进行预测
在ti时刻，对系统的状态进行更新
其中
Pi＝(1-KiHi)Pi′
步骤14、回球轨迹信息输出；
本发明的效果可以通过图2和图3的对比进行说明。如图2所示，现有的方法是对球拍击球后的羽毛球空间位置坐标进行测量，然后做预测。而本方法是在球拍击球前的羽毛球和球拍空间位置坐标数据的基础上进行预测，如图3所示。获取数据的时间段从球拍击球后提到了球拍击球前，为羽毛球轨迹的预测争取了更多的时间优势。在羽毛球竞技这样瞬息万变的运动中，对后续的策略应对是极为有利的。尤其是对羽毛球机器人而言，可以将回球策略制定、动作执行的时间大为提前，从而获取更好的击球点和回球线路，直接提高了其快速反应能力、击球主动性和竞技水平。
步骤12、根据羽毛球运动状态参数和球拍拍面运动状态参数计算球头区域和球拍区域的距离，并判断球头区域和球拍区域是否小于预设阈值，如果小于预设阈值，则转入步骤13；否则，转步骤2；
步骤13、基于神经网络的羽毛球离拍运动状态参数预测；转步骤2。
综上所述，本实施例提供的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，首先对双目相机进行标定，得到双目相机的内外参数，然后采集击球的左右两幅图像，对图像进行去噪、校正畸变等预处理，再通过帧差法识别图像中运动区域，利用轮廓的形状、面积特征检测出羽毛球和球拍，提取羽毛球和球拍的特征点，并依据极线约束原理进行双目图像的匹配，计算特征点的视差和深度，进而得到特征点的三维坐标，进一步根据球场界线，筛选消除场外无效运动羽毛球和球拍，计算目标羽毛球和球拍的位置和姿态等运动状态参数，并作为神经网络的输入，进行学习或预测，最后利用卡尔曼滤波方法对回球的中长期轨迹作预测计算。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (10)
1.一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法，其特征在于，包括如下步骤：
步骤1、对双目相机进行标定；
步骤2、通过双目相机采集打球图像；
步骤3、对打球图像预处理；
步骤4、识别经预处理的打球图像的运动区域并进行图像分割；
步骤5、检测球拍区域和羽毛球区域；
步骤6、对球拍区域和羽毛球区域的特征点进行检测；
步骤7、对球拍区域和羽毛球区域进行图像匹配；
步骤8、对球拍区域和羽毛球区域进行深度计算；
步骤9、确定场内羽毛球球托质心位置和球拍拍面位姿；
步骤10、判断球拍的拍面区域与羽毛球区域的位置关系，若球拍的拍面区域与羽毛球区域距离小于预设阈值，转步骤11；否则，转步骤2；
步骤11、根据先前球拍拍面区域与羽毛球区域计算羽毛球运动状态参数和球拍拍面运动状态参数；
步骤12、构建神经网络并将羽毛球运动状态参数和球拍拍面运动状态参数输入到神经网络中进行计算，预测下一时刻羽毛球离拍运动状态；
步骤13、根据下一时刻羽毛球离拍运动状态通过基于卡尔曼滤波方法计算羽毛球回球轨迹信息；
步骤14、输出羽毛球回球轨迹信息。
2.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，所述步骤12中通过神经网络来预测下一时刻羽毛球离拍运动状态是通过以下步骤来实现的：
步骤121：根据羽毛球运动状态参数和球拍拍面运动状态参数计算球头和球拍之间的距离，并判断球头和球拍距离是否小于预设阈值，如果否，则转入步骤2；
步骤122：如果是，则将羽毛球运动状态参数和球拍拍面运动状态参数输入到神经网络的训练过程，并预测t(i)+T时刻羽毛球离拍运动状态；
步骤123：判断神经网络的训练过程是否训练完成，如果否，则采集下一次击球图像并转步骤2；如果是，则输出羽毛球t(i)+T时刻离拍运动状态参数；
其中，t(i)表示当前时刻，T为根据相机采集频率确定的可调时间增量。
3.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤6所述的球拍和羽毛球特征点检测，具体步骤包括：
步骤61：获取球拍轮廓图像并提取球拍的拍杆；
步骤62：识别球拍的拍框预设特征位置；
步骤63：获取羽毛球轮廓图像并提取球托轮廓；
步骤64：计算当球托是否被羽毛球的羽毛遮挡时的整个羽毛球轮廓图像的质心，并作为球托质心。
4.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤7所述的双目图像匹配是利用极线约束原理对左右球拍轮廓图像中的步骤6所提取的特征点进行对应匹配。
5.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤8所述的深度计算，用于消除场外无效运动羽毛球和球拍信息，具体步骤包括：
步骤81：获取图像中羽毛球、球拍的视差图；
步骤82：根据双目视觉的几何关系，将视差图转换为深度图；
步骤83：根据深度图并结合球场物理坐标系和相机坐标系的转换关系计算羽毛球、球拍质心的三维坐标；
步骤84：根据球场的标准长度、标准宽度和经验高度，构建略大于实际球场尺寸的空间长方体边界包围盒；
步骤85：将羽毛球、球拍的三维坐标值与边界包围盒做比较，消除包围盒外无效运动羽毛球和球拍信息，保留场内羽毛球和球拍三维坐标数据。
6.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤9所述的确定场内羽毛球球托质心位置和球拍拍面位姿，具体步骤包括：
确定球拍上的局部坐标系，选取球拍拍框的预设特征位置为球拍拍面坐标系的原点，以拍杆轴线为x轴，在拍面内垂直于拍杆方向为y轴，以右手法则确定z轴，球场坐标系任意一点表达为Pw，此点与拍面局部坐标系下的Pj点之间按照以下公式实现两个坐标系下的坐标变换：
Pj＝RptPw-Tpb
其中,Tpb为球拍拍面与拍杆交点在球场坐标系中的坐标，拍面的姿态信息通过下式求出：
其中，Tpb表达了球拍拍面的位置信息，Rpt表达了球拍拍面的姿态信息，x0表示球拍拍面质心在世界坐标系下x轴方向的位移，y0表示球拍拍面质心在世界坐标系下y轴方向的位移，z0表示球拍拍面质心在世界坐标系下z轴方向的位移，θz为球拍拍面绕z轴的偏转角度，θx为球拍拍面绕x轴的俯仰角度，θy为球拍拍面绕y轴的滚转角度。
7.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤11所述的羽毛球和球拍拍面运动状态参数计算，具体步骤是：
步骤111：羽毛球和球拍拍面运动的速度值或角速度值是当前帧位置与前面某帧所计算位置之差与两帧间隔时间的比值；
步骤112：羽毛球和球拍拍面运动的加速度值或角加速度值是当前帧位置与前面某帧所计算速度值或角速度值之差与两帧间隔时间的比值。
8.根据权利要求2所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤122所述的神经网络训练过程的输入参数包括羽毛球和球拍拍面的运动状态参数，包括羽毛球和球拍拍面在世界坐标系下x,y,z三个方向位置、速度、加速度以及绕x,y,z三轴旋转的角位置、角速度、角加速度；
神经网络的输出值包括羽毛球离拍时的位置、速度、加速度；
计算输出值与实测值偏差，判断偏差是否小于阈值，如果是，则训练结束；
否则，采集下一次挥拍击球动作图像，继续训练；
其中，实测值是羽毛球被击打离开球拍时得到的图像。
9.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤13所述的基于卡尔曼滤波方法的羽毛球回球中长期轨迹计算，具体步骤包括：
步骤131：确定羽毛球球托质心的状态向量如下：
X＝[x,y,z,α,β,γ,vx,vy,vz,ωx,ωy,ωz,ax,ay,az,εx,εy,εz]
其中，状态变量依次为笛卡尔坐标x,y,z；
绕三个坐标轴的转角α,β,γ；
沿三个坐标轴方向的速度vx,vy,vz；
绕三个坐标轴旋转的角速度ωx,ωy,ωz；
沿三个坐标轴方向的加速度ax,ay,az；
绕三个坐标轴旋转的角加速度εx,εy,εz；
步骤132：状态方程
观测方程Yi＝HiXi+Vi；
其中，
是状态转移矩阵；
Xi是i时刻羽毛球球托质心的状态向量；
Wi-1是系统状态在时刻ti-1时的随机噪声干扰向量，
Yi是观测到的系统状态向量，
Hi是观测矩阵，
Vi是ti时刻系统的观测噪声向量；
步骤133：定义
是Xi的后验状态估计，Pi表示两者之间的误差协方差矩阵，
是Xi的先验状态估计，Pi′是两者之间的误差协方差矩阵，Ki为卡尔曼滤波增益系数矩阵；
步骤134：在t0时刻，将运动状态参数作为状态向量后验状态估计的初始值；
在ti时刻，对系统的状态进行预测
在ti时刻，对系统的状态按照以下公式进行更新：
其中，
Pi＝(1-KiHi)Pi′；
其中，E表示求期望的符号。
10.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤5所述的球拍区域和羽毛球区域的检测，具体包括：
利用Prewitt算子、Sobel算子或Canny算子进行边缘检测，快速提取图像中球拍和羽毛球轮廓，根据图像中羽毛球和球拍的形状、面积不同，利用傅里叶描述子识别出球拍和羽毛球。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911375580.1A CN111369629A (zh) | 2019-12-27 | 2019-12-27 | 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911375580.1A CN111369629A (zh) | 2019-12-27 | 2019-12-27 | 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111369629A true CN111369629A (zh) | 2020-07-03 |
Family
ID=71209947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911375580.1A Pending CN111369629A (zh) | 2019-12-27 | 2019-12-27 | 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111369629A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112494915A (zh) * | 2020-12-14 | 2021-03-16 | 清华大学深圳国际研究生院 | 一种羽毛球机器人及其系统和控制方法 |
| CN113095248A (zh) * | 2021-04-19 | 2021-07-09 | 中国石油大学(华东) | 一种用于羽毛球运动的技术动作纠正方法 |
| CN113538550A (zh) * | 2021-06-21 | 2021-10-22 | 深圳市如歌科技有限公司 | 高尔夫球感测方法、系统及存储介质 |
| CN114259720A (zh) * | 2020-09-15 | 2022-04-01 | 荣耀终端有限公司 | 动作识别方法及装置、终端设备、运动监测系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6233007B1 (en) * | 1998-06-22 | 2001-05-15 | Lucent Technologies Inc. | Method and apparatus for tracking position of a ball in real time |
| CN101458434A (zh) * | 2009-01-08 | 2009-06-17 | 浙江大学 | 精确测量和预测乒乓球轨迹系统与系统运行方法 |
| CN102646148A (zh) * | 2012-04-25 | 2012-08-22 | 浙江大学 | 仿人机器人机械臂避碰运动轨迹规划方法 |
| CN106780620A (zh) * | 2016-11-28 | 2017-05-31 | 长安大学 | 一种乒乓球运动轨迹识别定位与跟踪系统及方法 |
| CN107481270A (zh) * | 2017-08-10 | 2017-12-15 | 上海体育学院 | 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备 |
| CN107729295A (zh) * | 2017-10-19 | 2018-02-23 | 广东工业大学 | 一种羽毛球的实时落点预判方法、平台及设备 |
| CN109087328A (zh) * | 2018-05-31 | 2018-12-25 | 湖北工业大学 | 基于计算机视觉的羽毛球落点位置预测方法 |
| CN109085823A (zh) * | 2018-07-05 | 2018-12-25 | 浙江大学 | 一种园区场景下基于视觉的低成本自动循迹行驶方法 |
| CN109159112A (zh) * | 2018-07-09 | 2019-01-08 | 天津大学 | 一种基于无迹卡尔曼滤波的机器人运动参数估计方法 |
| CN109409499A (zh) * | 2018-09-20 | 2019-03-01 | 北京航空航天大学 | 一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法 |
-
2019
- 2019-12-27 CN CN201911375580.1A patent/CN111369629A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6233007B1 (en) * | 1998-06-22 | 2001-05-15 | Lucent Technologies Inc. | Method and apparatus for tracking position of a ball in real time |
| CN101458434A (zh) * | 2009-01-08 | 2009-06-17 | 浙江大学 | 精确测量和预测乒乓球轨迹系统与系统运行方法 |
| CN102646148A (zh) * | 2012-04-25 | 2012-08-22 | 浙江大学 | 仿人机器人机械臂避碰运动轨迹规划方法 |
| CN106780620A (zh) * | 2016-11-28 | 2017-05-31 | 长安大学 | 一种乒乓球运动轨迹识别定位与跟踪系统及方法 |
| CN107481270A (zh) * | 2017-08-10 | 2017-12-15 | 上海体育学院 | 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备 |
| CN107729295A (zh) * | 2017-10-19 | 2018-02-23 | 广东工业大学 | 一种羽毛球的实时落点预判方法、平台及设备 |
| CN109087328A (zh) * | 2018-05-31 | 2018-12-25 | 湖北工业大学 | 基于计算机视觉的羽毛球落点位置预测方法 |
| CN109085823A (zh) * | 2018-07-05 | 2018-12-25 | 浙江大学 | 一种园区场景下基于视觉的低成本自动循迹行驶方法 |
| CN109159112A (zh) * | 2018-07-09 | 2019-01-08 | 天津大学 | 一种基于无迹卡尔曼滤波的机器人运动参数估计方法 |
| CN109409499A (zh) * | 2018-09-20 | 2019-03-01 | 北京航空航天大学 | 一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法 |
Non-Patent Citations (2)
| Title |
|---|
| 唐银春等: "羽毛球运动员手臂击球图像轨迹跟踪效果仿真", 计算机仿真 * |
| 张远辉等: "在线角速度估计的乒乓球机器人视觉测量方法", 浙江大学学报(工学版) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114259720A (zh) * | 2020-09-15 | 2022-04-01 | 荣耀终端有限公司 | 动作识别方法及装置、终端设备、运动监测系统 |
| CN112494915A (zh) * | 2020-12-14 | 2021-03-16 | 清华大学深圳国际研究生院 | 一种羽毛球机器人及其系统和控制方法 |
| CN113095248A (zh) * | 2021-04-19 | 2021-07-09 | 中国石油大学(华东) | 一种用于羽毛球运动的技术动作纠正方法 |
| CN113095248B (zh) * | 2021-04-19 | 2022-10-25 | 中国石油大学(华东) | 一种用于羽毛球运动的技术动作纠正方法 |
| CN113538550A (zh) * | 2021-06-21 | 2021-10-22 | 深圳市如歌科技有限公司 | 高尔夫球感测方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111369629A (zh) | 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 | |
| KR101078975B1 (ko) | 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법 | |
| CN106780620B (zh) | 一种乒乓球运动轨迹识别定位与跟踪系统及方法 | |
| JP5675301B2 (ja) | ゴルフスイングの分類方法、分類システム、解析装置およびプログラム | |
| KR101048090B1 (ko) | 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법 | |
| US8475300B2 (en) | Method of evaluating a golf club | |
| EP2717017A1 (en) | Movement recognition method, device and movement auxiliary device for ball games | |
| AU2018404876B2 (en) | Golf ball tracking system | |
| KR20190031111A (ko) | 가상 테니스 시뮬레이션 시스템, 이에 이용되는 센싱장치 및 센싱방법 | |
| CN110327612B (zh) | 一种基于视觉识别的高尔夫球轨迹预测方法 | |
| JP5975711B2 (ja) | ゴルフスイングの分類方法、分類システム、分類装置およびプログラム | |
| CN109562289B (zh) | 球的飞行信息运算装置、球的飞行信息运算方法及记录其的计算装置可读记录介质 | |
| CN110245569B (zh) | 基于射流边缘分析和打击偏差反馈的船舶打击效果评估方法 | |
| CN105288982A (zh) | 高尔夫球的运动状态测定装置 | |
| CN110648362B (zh) | 一种双目立体视觉的羽毛球定位识别与姿态计算方法 | |
| WO2021085578A1 (en) | Ball tracking apparatus and ball tracking method | |
| Tebbe et al. | Spin detection in robotic table tennis | |
| CN115100744A (zh) | 一种羽毛球比赛人体姿态估计和球路追踪方法 | |
| CN112494915B (zh) | 一种羽毛球机器人及其系统和控制方法 | |
| JP7083332B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN107899225B (zh) | 一种基于运动轨迹的乒乓球发球得分识别方法 | |
| CN113018827B (zh) | 精准收集及分析的乒乓球轨迹的辅助训练系统、方法、终端 | |
| JP6810442B2 (ja) | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 | |
| CN110711368B (zh) | 一种乒乓球机器人的击球方法及装置 | |
| Liu et al. | RETRACTED: Design and implementation of badminton robot perception and control system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |