CN111754549A - 一种基于深度学习的羽毛球运动员轨迹提取方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的羽毛球运动员轨迹提取方法，其特点是羽毛球运动员轨迹的提取具体包括：空间数据模型与视频获取、利用faster R‑CNN进行模型训练与球鞋识别、构建像素坐标系和球场平面坐标系的映射模型，计算球鞋在平面坐标系中的坐标、球鞋匹配与双目定位和技术统计等步骤。本发明与现有技术相比具有准确地还原羽毛球运动员在比赛中的运动轨迹，提高了运动员的步法训练，方法简便，省时省力，经济、高效。

Description

一种基于深度学习的羽毛球运动员轨迹提取方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于深度学习和双目定位的羽毛球运 动员轨迹提取方法。

背景技术

从羽毛球运动理论发展的角度分析羽毛球运动的内容，其基本技巧包括握拍方法、发 球方法、打法和步法四个部分。其中，步法是羽毛球练习的重要部分，羽毛球比赛的情 况瞬息万变，运动员的状态在主动与被动之间来回转变，在此过程中需要执行很多的快速移动、跳跃、节奏变化和虚晃。合理的步法运用是击球的先决条件，是运动员战术打 法的体现，同时也是顺利拿下一场比赛的前提和基础。因此合理的步法训练无论对于职 业运动员或者是青少年初学者都是相当重要的。

目前，羽毛球步法的训练已经得到重视，然而，传统的步法并不是一成不变的，新的步法总是在老的步法基础上不断地更新和完善。现有的羽毛球步法以及步法的变式更新都是积累在运动员长期竞赛和教练员的经验积累的基础上的，有些高级步法甚至是源自于运动员的临场发挥。通过经验积累的方法还原运动员的步法缺乏准确性，并且长期 观测运动员的运动轨迹费时费力，容易出现疏漏与错看。

发明内容

本发明的目的是针对现有技术不足而提供的一种基于深度学习的羽毛球运动员轨迹 提取方法，利用深度学习的方法从视频中逐帧提取运动员球鞋的像素坐标，然后用透视 投影的方法将像素坐标映射至羽毛球场平面坐标系中，结合平面坐标与相机光轴中心位 置对球鞋进行双目定位，并整合每一帧图像的定位结果，获得羽毛球运动员的运动轨迹， 更加准确地还原了羽毛球运动员在比赛中的运动轨迹，大大提高了运动员的步法训练， 方法简便，省时省力，经济、高效。

实现本发明目的具体技术方案是：一种基于深度学习的羽毛球运动员轨迹提取方法， 其特点是采用深度学习的方法从视频中提取运动员球鞋的像素坐标，利用透视投影的方 法将像素坐标映射至羽毛球场平面坐标系中，结合平面坐标与相机光轴中心位置对球鞋 进行双目定位，以整合每一帧图像的定位结果，羽毛球运动员轨迹的提取具体包括下述步骤：

步骤1：构建羽毛球场环境的空间数据模型

在羽毛球右半场的正左方架设摄像机A，在羽毛球右半场的正后方架设摄像机B，其分辨率均为1080P，每秒摄取25帧影像；以羽毛球球网柱底部与羽毛球球场左侧边线 中点的交点为原点建立一个右手坐标系，以1m为单位长度。最后度量每一个相机光轴中 心位于空间坐标系中的位置。

步骤2：模型训练与球鞋识别

从样例运动视频影像中抽取1500帧影像作为训练样本，使用labelImg工具对球鞋进行标注，制作标准的Pascal VOC数据集，用VGG16网络作为卷积网络计算原始图像的 特征图，用Faster R-CNN网络对数据集进行训练，以及最后的球鞋检测。若球鞋检测结 果为bndbox(x₁,y₁,x₂,y₂)，其中(x₁,y₁)代表bndbox左上角的坐标，(x₂,y₂)代表bndbox 右下角的坐标，近似地以bndbox底边中点((x₁+y₁)/2,y₂)代表一只球鞋。

步骤3：构建像素坐标系和球场平面坐标系的映射模型

将A、B摄像机中捕获到的影像采用透视变换的方法分别转换到羽毛球场平面视图中，实现几何矫正，构建像素坐标系和球场平面坐标系的映射模型具体步骤如下：

a、定义坐标：假设A、B摄像机图像中某点的像素坐标为[u,v]，羽毛球场平面坐标系中的某一点坐标为[x,y]。

b、获得四组同名点坐标：从A、B摄像机中的羽毛球场中分别寻找四个较明显的控制点，控制点的选择原则为边线的交点。假设这四个控制点的像素坐标分别为 [u₁,v₁],[u₂,v₂],[u₃,v₃],[u₄,v₄]，在羽毛球场平面坐标系中量测它们的坐标为 [x₁,y₁],[x₂,y₂],[x₃,y₃],[x₄,y₄]。

c、根据四组同名点坐标，按下述(1)式计算透视变换矩阵：。

式中：u和v代表是变换前的图像中的像素坐标；x′/w′代表透视变换后的x坐标；y′/w′ 代表透视变换后的y坐标；h₁₁和h₂₁是用于X方向上线性变换的参数；h₁₂和h₂₂是用于Y方向上线性变换的参数；h₃₁和h₃₂是分别用于X方向和Y方向平移的参数；h₁₃和h₂₃是用 于透视的参数；h₃₃恒等于1。

将公式(1)的矩阵表达形式展开，可以写成下述(2)式的矩阵表达

形式：

将获取到的四组同名点的像素坐标[u₁,v₁],[u₂,v₂],[u₃,v₃],[u₄,v₄]以及对应的羽毛球 场平面坐标[x₁,y₁],[x₂,y₂],[x₃,y₃],[x₄,y₄]分别带入(2)式中，即可获得关于h₁₁、h₂₁、h₁₂、 h₂₂、h₃₁、h₃₂、h₁₃、h₂₃和h₃₃的非线性相关的八个方程，最终可以求解得到九个参数(其 中h₃₃恒定为1)。

步骤4：球鞋匹配和双目定位

设某一刻球鞋M基于摄像机A进行透视变化后的球场平面坐标系坐标为 MA(x_mA,y_mA)，基于摄像机B进行透视变化后的球场平面坐标系坐标为MB(x_mB,y_mB)， 通过最近邻点匹配算法对两幅图像中的四只球鞋进行两两匹配，其原理是：已知摄像机A 中的两只球鞋s(x_s,y_s)和t(x_t,y_t)，摄像机B中的两只球鞋m(x_m,y_m)和n(x_n,y_n)。分别 计算A图像的球鞋与B图像的球鞋两两之间的欧式距离d_sm、d_sn、d_tm、d_tn。最近邻距 离D＝min(d_sm,d_sn,d_tm,d_tn)，达到最近邻距离的球鞋对为同一只球鞋，剩余的两只球鞋 组成另一对球鞋。如果用@符号代表同一只球鞋关系，则数学表达式如下述(3)式所示：

α@β|m,t∈α；m,n∈β (D＝d_αβ) (3)

理想情况下，空间直线AM_A与空间直线BM_B的交点即为球鞋实际的空间位置，由于空间中两条不共面的直线没有交点，因此本发明将空间直线AM_A和BM_B分别向X-Y、X-Z、 Y-Z平面投影，计算AM_A和BM_B在三个投影面上的交点(x₁,y₁),(x₂,z₁),(y₂,z₂)。最终采用 均值法计算球鞋定位结果，((x₁+x₂)/2,(y₁+y₂)/2,(z₁+z₂)/2)。由于计算结果中z 值可能为负数，以及存在一定的误差，这里将所有z值小于0.03m的结果近似地看做0(即 位于地面上)。

步骤5：技术统计

记录所有时间下两只球鞋每5帧的空间坐标序列后，通过五个运动指标对此运动员 的运动能力进行评价，其具体评估指标如下：

(1)总移动距离：单只球鞋所有相邻轨迹点的欧式距离的总和；

(2)平均弹跳高度：单只球鞋所有轨迹点z值的平均值；

(3)最大弹跳高度：单只球鞋所有轨迹点z值的最大值；

(4)平均移动速度：计算单只球鞋相邻轨迹点的欧氏距离除以0.2s(本发明视频为25 帧/s)作为移动速度，单只球鞋每一时刻的移动速度的平均值即为平均移动速度；

(5)最大移动速度：计算单只球鞋相邻轨迹点的欧氏距离除以0.2s(本发明视频为25 帧/s)作为移动速度，单只球鞋每一时刻的移动速度的最大值即为平均移动速度。

本发明与现有技术相比具有方法简便，省时省力，经济、高效，更加准确地还原了羽毛球运动员在比赛中的运动轨迹，大大提高了运动员的步法训练，较好的解决了观测 运动员的运动轨迹费时费力，容易出现疏漏与错看的问题。

附图说明

图1为本发明流程图；

图2为本发明具体应用示意图；

图3为本发明构建的空间数据模型以及相机摆放位置示意图；

图4为球鞋识别效果图；

图5为透视变换结果图；

图6～图8为三种不同类型的定位结果图；

图9为轨迹提取结果图。

具体实施方式

参阅附图1，采用深度学习的方法从视频中提取运动员球鞋的像素坐标，利用透视投影的方法将像素坐标映射至羽毛球场平面坐标系中，结合平面坐标与相机光轴中心位置对球鞋进行双目定位，以整合每一帧图像的定位结果，羽毛球运动员轨迹的提取具体 包括下述步骤：

(1)首先构建羽毛球场环境的空间数据模型，度量摄像机所处的空间坐标；

(2)利用faster R-CNN实现对于羽毛球运动员球鞋的检测，获取球鞋的像素坐标；

(3)在球场中寻找4个控制点，结合控制点位于球场平面坐标系和像素坐标系中的对应的坐标构建像素坐标系和球场平面坐标系的映射模型；

(4)根据像素坐标系和球场平面坐标系的映射模型，计算球鞋在平面坐标系中的坐标；

(5)结合同一只球鞋在两个摄像机中对应的平面坐标系坐标，计算这只球鞋实际的三 维空间坐标；

(6)记录轨迹数据，并进行可视化展示；

(7)结合轨迹对运动员本场比赛进行技术统计。

参阅附图2，通过以下具体实施例对本发明作进一步的详细说明。

实施例1

步骤1：空间数据模型和拍摄羽毛球运动影像

参阅附图3，在羽毛球右半场的正左方架设摄像机A，相机型号为Canon EOS6DMark II，在羽毛球右半场的正后方架设摄像机B，相机型号为Canon EOS 77D，分辨率均为 1080P，每秒摄取25帧影像。空间数据模型是以羽毛球球网柱底部与羽毛球球场左侧边线中点的交点为原点建立一个右手坐标系，以1m为单位长度。用卷尺测量每一个摄像机 光轴中心位于空间坐标系中的位置，经过度量后，A相机光轴中心位置为(3,-2.9,1.4)，B 摄像机光轴中心位置为(12.3,9.34,1.5)。本次实验一共获取了两份视频资料，一份时长30s，总共750帧，作为样本用于训练，另一份时长71s，总共1775帧用于检测与定位。

步骤2：模型训练与球鞋识别

从样例运动视频影像中抽取1500帧影像作为训练样本，使用labelImg工具对球鞋进行标注，制作标准的Pascal VOC数据集，分别尝试使用VGG16网络和ZF网络作为卷 积网络计算原始图像的特征图，用Faster R-CNN网络对数据集进行训练，以及最后的球 鞋检测。VGG16网络模型对单帧图像检测的平均时长为0.2185s，mAP平均为0.982。ZF 网络模型对单帧图像检测的平均时长为0.1911s，mAP平均为0.953。从时间上看二者检 测速度都接近于一秒五帧，但是VGG16网络在精度上比ZF网络高0.03，本发明选择 VGG16网络。若球鞋检测结果为bndbox(x₁,y₁,x₂,y₂)，其中(x₁,y₁)代表bndbox左上角 的坐标，(x₂,y₂)代表bndbox右下角的坐标，近似地以bndbox底边中点((x₁+y₁)/2,y₂) 代表一只球鞋。

参阅附图4，为训练样本中第90帧的识别结果。

步骤3：构建像素坐标系和球场平面坐标系的映射模型

将A、B摄像机中捕获到的影像采用透视变换的方法分别转换到羽毛球场平面视图中，实现几何矫正，构建像素坐标系和球场平面坐标系的映射模型具体步骤如下：

a、定义坐标：假设A、B摄像机图像中某点的像素坐标为[u,v]，羽毛球场平面坐 标系中的某一点坐标为[x,y]

b、获得四组同名点坐标：从A、B摄像机中的羽毛球场中分别寻找四个较明显的控制点，控制点的选择原则为边线的交点。用画图工具得到A摄像机四个控制点的像素坐 标分别为[317,1027],[1625,725],[1411,627],[457,627]，在羽毛球场平面坐标系中量测它们的 坐标为[1.98,6.1],[6.7,3.05],[6.7,0],[0,0]。用画图工具得到B摄像机四个控制点的像素坐标分 别为[458,605],[342,660],[990,1040],[1520,598]，在羽毛球场平面坐标系中量测它们的坐标为 [0,6.1],[1.98,6.1],[6.7,3.05],[0,0]。

c、根据四组同名点坐标，按下述(1)式计算透视变换矩阵：

式中：u和v为变换前的图像中的像素坐标；x′/w′为透视变换后的x坐标；y′/w′为透视变换后的y坐标；h₁₁和h₂₁为X方向上线性变换的参数；h₁₂和h₂₂为Y方向上线性变 换的参数；h₃₁和h₃₂分别为X方向和Y方向平移的参数；h₁₃和h₂₃为透视的参数；

将上述(1)式的矩阵展开，得到下述(2)式表达形式的矩阵：

将获取的四组同名点的像素坐标[u₁,v₁],[u₂,v₂],[u₃,v₃],[u₄,v₄]以及对应的羽毛球场 平面坐标[x₁,y₁],[x₂,y₂],[x₃,y₃],[x₄,y₄]分别带入(2)式，即可获得关于h₁₁、h₂₁、h₁₂、h₂₂、 h₃₁、h₃₂、h₁₃、h₂₃和h₃₃的非线性相关的八个方程，最终可以求解得到九个参数(h₃₃恒定 为1)。最终A，B相机的透视变换矩阵分别为：

参阅附图5，使用透视变换矩阵对图像进行透视变换，可以看到几何畸变基本被矫正了。

步骤4：球鞋匹配和双目定位

设某一刻球鞋M基于摄像机A进行透视变化后的球场平面坐标系坐标为 MA(x_mA,y_mA)，基于摄像机B进行透视变化后的球场平面坐标系坐标为MB(x_mB,y_mB)， 通过最近邻点匹配算法对两幅图像中的四只球鞋进行两两匹配，其原理是：已知摄像机A 中的两只球鞋s(x_s,y_s)和t(x_t,y_t)，摄像机B中的两只球鞋m(x_m,y_m)和n(x_n,y_n)。分别 计算A图像的球鞋与B图像的球鞋两两之间的欧式距离d_sm、d_sn、d_tm、d_tn。最近邻距 离D＝min(d_sm,d_sn,d_tm,d_tn)。达到最近邻距离的球鞋对为同一只球鞋，剩余的两只球鞋 组成另一对球鞋。如果用@符号代表同一只球鞋关系，则数学表达如下述(3)式所示：

α@β|m,t∈α；m,n∈β (D＝d_αβ) (3)

理想情况下，空间直线AM_A，与空间直线BM_B的交点即为球鞋实际的空间位置。 由于空间中两条不共面的直线没有交点，因此本发明将空间直线AM_A和BM_B分别向X-Y、 X-Z、Y-Z平面投影，计算AM_A和BM_B在三个投影面上的交点(x₁,y₁),(x₂,z₁),(y₂,z₂)。最 终采用均值法计算球鞋定位结果，((x₁+x₂)/2,(y₁+y₂)/2,(z₁+z₂)/2)。由于计算结 果中z值可能为负数，以及存在一定的误差，这里将所有z值小于0.03m的结果近似地 看做0(即位于地面上)。

基于最近邻法的球鞋匹配在双目定位时的匹配错误会导致最终定位结果产生偏差，在 最终逐帧匹配球鞋时的匹配错误会形成最终球鞋类别的错误。可以针对上述两种错误， 将定位结果分为下述三类：

参阅附图6，图中展示的是完全正确的定位结果；

参阅附图7，图中展示的是球鞋位置正确但是类别相反的定位结果。

参阅附图8，图中展示的是定位位置错误的识别结果。

按照上述分类标准对352帧识别结果逐帧进行人为考察及分类，完全正确的定位结果占总体的74.7％，定位结果正确而球鞋类别错误的结果占22.4％，定位错误结果仅 占2.8％。总体上来看，若不考虑球鞋类别匹配错误，定位结果正确率高达97.2％。由此， 可以看出本发明利用深度学习和双目定位的方法提取羽毛球运动员轨迹的方法是切实可 行。

步骤5：技术统计

记录所有时间下两只球鞋每5帧的空间坐标序列后，通过一定的指标对此运动员的 运动能力进行评价。具体评估指标为：总移动距离、平均弹跳高度、最大弹跳高度、平 均移动速度和最快移动速度五个指标进行技术统计和评估。

所述总移动距离为单只球鞋所有相邻轨迹点的欧式距离的总和；所述平均弹跳高度 为单只球鞋所有轨迹点z值的平均值；所述最大弹跳高度为单只球鞋所有轨迹点z值的最大值；所述平均移动速度为计算单只球鞋相邻轨迹点的欧氏距离除以0.2s(本实施例中视频为25帧/s)作为移动速度，单只球鞋每一时刻的移动速度的平均值即为平均移动速度；所述最大移动速度为计算单只球鞋相邻轨迹点的欧氏距离除以0.2s(本实施例中视频为25帧/s)作为移动速度，单只球鞋每一时刻的移动速度的最大值即为平均移动速度。

参阅附图9，按照上述准则对于最终定位结果进行技术统计，可以得到球鞋1(左脚) 的总移动距离、平均弹跳高度、最大弹跳高度、平均移动速度、最大移动速度分别为141.71m、0.0052m、0.39m、2.02m/s、18.4m/s。球鞋2(右脚)的总移动距离、平均弹 跳高度、最大弹跳高度、平均移动速度、最大移动速度分别为137.10m、0.0037m、0.197m、 1.95m/s、19.89m/s。

以上只是对本发明作进一步说明，并非用以限制本发明专利，凡为本发明等效实施，均应包含于本发明专利的权利要求范围之内。

Claims (8)

1.一种基于深度学习的羽毛球运动员轨迹提取方法，其特征在于采用深度学习的方法从视频中提取运动员球鞋的像素坐标，利用透视投影的方法将像素坐标映射至羽毛球场平面坐标系中，结合平面坐标与相机光轴中心位置对球鞋进行双目定位，以整合每一帧图像的定位结果，羽毛球运动员轨迹的提取具体包括下述步骤：

步骤1：构建羽毛球场环境的空间数据模型

在羽毛球右半场的正左方架设摄像机A，在羽毛球右半场的正后方架设摄像机B，拍摄羽毛球运动影像，并以羽毛球球网柱底部与羽毛球球场左侧边线中点的交点为原点，构建一个右手坐标系的羽毛球场空间数据模型，度量摄像机所处的空间坐标；

步骤2：模型训练与球鞋识别

从视频影像中抽取1500帧影像作为训练样本，使用labelImg工具对球鞋进行标注，并制作标准的Pascal VOC数据集，然后采用VGG16网络作为卷积网络计算原始图像的特征图，利用Faster R-CNN网络对数据集进行模型训练并球鞋检测，若球鞋检测结果为bndbox(x₁,y₁,x₂,y₂)，则以bndbox底边中点((x₁+y₁)/2,y₂)代表一只球鞋，其中，(x₁,y₁)代表bndbox左上角的坐标；(x₂,y₂)代表bndbox右下角的坐标；

步骤3：构建像素坐标系和球场平面坐标系的映射模型

将A、B摄像机中捕获到的影像采用透视变换的方法转换到羽毛球场平面视图中，实现几何校正，构建像素坐标系和球场平面坐标系的映射模型的具体步骤如下：

a、假设A、B摄像机图像中某点的像素坐标为[u,v]，羽毛球场平面坐标系中的某一点坐标为[x,y]定义坐标：

b、从A、B摄像机拍摄的羽毛球场中分别寻找四个控制点，并假设这四个控制点的像素坐标分别为[u₁,v₁],[u₂,v₂],[u₃,v₃],[u₄,v₄]，在羽毛球场平面坐标系中量测它们的坐标为[x₁,y₁],[x₂,y₂],[x₃,y₃],[x₄,y₄]，获得四组同名点坐标，所述控制点的选择原则为边线的交点；

c、根据四组同名点坐标，按下述(1)式计算透视变换矩阵：

式中：u和v为变换前的图像中的像素坐标；x′/w′为透视变换后的x坐标；y′/w′为透视变换后的y坐标；h₁₁和h₂₁为X方向上线性变换的参数；h₁₂和h₂₂为Y方向上线性变换的参数；h₃₁和h₃₂分别为X方向和Y方向平移的参数；h₁₃和h₂₃为透视的参数；

将上述(1)式的矩阵展开，得到下述(2)式表达形式的矩阵：

将获取的四组同名点的像素坐标[u₁,v₁],[u₂,v₂],[u₃,v₃],[u₄,v₄]以及对应的羽毛球场平面坐标[x₁,y₁],[x₂,y₂],[x₃,y₃],[x₄,y₄]分别带入(2)式，即可获得关于h₁₁、h₂₁、h₁₂、h₂₂、h₃₁、h₃₂、h₁₃、h₂₃和h₃₃的非线性相关的八个方程，求解得到九个参数，其中h₃₃恒定为1。

步骤4：球鞋匹配与双目定位

设某一刻球鞋M基于摄像机A进行透视变化后的球场平面坐标系坐标为MA(x_mA,y_mA)，基于摄像机B进行透视变化后的球场平面坐标系坐标为MB(x_mB,y_mB)，通过最近邻点匹配算法对两幅图像中进行球鞋匹配和双目定位，所述球鞋匹配为两幅图像中的四只球鞋进行两两匹配；

步骤5：技术统计

记录所有时间下两只球鞋每5帧的空间坐标序列，对该运动员的总移动距离、平均弹跳高度、最大弹跳高度、平均移动速度和最快移动速度进行运动能力的评价。

2.根据权利要求1所述基于深度学习的羽毛球运动员轨迹提取方法，其特征在于所述A、B摄像机分辨率均为1080P，每秒摄取25帧影像。

3.根据权利要求1所述基于深度学习的羽毛球运动员轨迹提取方法，其特征在于所述右手坐标系以1m为单位长度。

4.根据权利要求1所述基于深度学习的羽毛球运动员轨迹提取方法，其特征在于所述总移动距离为单只球鞋所有相邻轨迹点的欧式距离的总和。

5.根据权利要求1所述基于深度学习的羽毛球运动员轨迹提取方法，其特征在于所述平均弹跳高度：单只球鞋所有轨迹点z值的平均值。

6.根据权利要求1所述基于深度学习的羽毛球运动员轨迹提取方法，其特征在于所述最大弹跳高度：单只球鞋所有轨迹点z值的最大值。

7.根据权利要求1所述基于深度学习的羽毛球运动员轨迹提取方法，其特征在于所述平均移动速度为单只球鞋每一时刻的移动速度的平均值，所述移动速度是以单只球鞋相邻轨迹点的欧氏距离除以0.2s计算而得。

8.根据权利要求1所述基于深度学习的羽毛球运动员轨迹提取方法，其特征在于所述最大移动速度为单只球鞋每一时刻的移动速度的最大值，其移动速度是以单只球鞋相邻轨迹点的欧氏距离除以0.2s计算而得。

Images