CN114049590A - 一种基于视频的跳台滑雪运动分析方法 - Google Patents
一种基于视频的跳台滑雪运动分析方法 Download PDFInfo
- Publication number
- CN114049590A CN114049590A CN202111326571.0A CN202111326571A CN114049590A CN 114049590 A CN114049590 A CN 114049590A CN 202111326571 A CN202111326571 A CN 202111326571A CN 114049590 A CN114049590 A CN 114049590A
- Authority
- CN
- China
- Prior art keywords
- training
- snowboard
- network model
- key
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 93
- 238000001514 detection method Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000033001 locomotion Effects 0.000 claims abstract description 19
- 230000036544 posture Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 230000001154 acute effect Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 210000001624 hip Anatomy 0.000 claims description 8
- 230000009191 jumping Effects 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 210000004394 hip joint Anatomy 0.000 claims description 6
- 210000000629 knee joint Anatomy 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 210000003127 knee Anatomy 0.000 claims description 5
- 238000011897 real-time detection Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 210000003371 toe Anatomy 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000009189 diving Effects 0.000 abstract description 5
- 210000002683 foot Anatomy 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 101100441251 Arabidopsis thaliana CSP2 gene Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于视频的跳台滑雪运动分析方法，包括：获取跳台滑雪运动的视频数据：分别构建运动员和滑雪板检测网络模型、关键节点检测网络模型；分别训练运动员和滑雪板检测网络模型、关键节点检测网络模型；预测运动员和滑雪板图像的关键节点；进行滑雪运动员的运动分析。本发明的数据获取较为简单，通过在跳台滑雪场地正确合理布置多台高速摄影相机并进行标定，捕获视频数据；本发明通过建立一个跳台滑雪数据集，利用深度学习的方法实现运动员和滑雪板关键节点的自动检测，替代传统的人工标注方式，节省人力物力；本发明通过对跳台滑雪运动员和滑雪板的关键点的检测，用来分析运动员的姿态和运动学参数，辅助滑雪运动员的训练。
Description
技术领域
本发明涉及基于视频的运动分析技术领域，尤其是一种基于视频的跳台滑雪运动分析方法。
背景技术
跳台滑雪项目在我国开展时间较短，从业人员有限，且户外环境复杂，速度快，运动范围广，安全性问题也需要考虑，所以对滑雪运动员运动的分析比较困难。
目前对跳台滑雪运动的分析方法主要是通过风洞实验研究空气动力对跳台滑雪时风阻的影响，以及通过可穿戴式传感器如无线压力鞋垫和惯性运动单元研究着陆时Telemark姿势着陆撞击期间与地面的反作用力。这些方法虽然对跳台滑雪运动分析起到了一定的作用，但由于这些方法的实施相对比较困难，对我国跳台滑雪项目的开展起到了一定的限制作用。近年来，利用计算机图像处理、模式识别等技术对运动员的姿态、动作进行分析是当代的研究热点，然而目前基于视频的跳台滑雪项目的运动分析还较少。滑雪运动员动作的标准性直接会影响运动员动作的有效性，这也关系着我国体育事业的发展。
发明内容
本发明的目的在于提供一种数据获取简单、运动员和滑雪板的关键点，提高关键节点自动标注以及运动姿态和运动速度自动计算的基于视频的跳台滑雪运动分析方法。
为实现上述目的，本发明采用了以下技术方案：一种基于视频的跳台滑雪运动分析方法，该方法包括下列顺序的步骤：
(1)获取跳台滑雪运动的视频数据：使用标定后的高速摄影相机对滑雪运动员的动作数据进行采集，对数据进行预处理并制作数据集，使用标注工具Labelme对滑雪运动员和滑雪板的可见关键节点和真实边界框Boundingbox信息进行标注；
(2)分别构建运动员和滑雪板检测网络模型、关键节点检测网络模型：所述运动员和滑雪板检测网络模型采用YOLOv5s深度卷积神经网络，所述关键节点检测网络模型采用HRNet深度卷积神经网络；
(3)分别训练运动员和滑雪板检测网络模型、关键节点检测网络模型；
(4)预测视频图像中运动员和滑雪板的关键节点：首先将待测滑雪运动员的视频图像采用YOLOv5s网络模型进行运动员和滑雪板的实时检测，再将检测得到的运动员和滑雪板的边界框裁剪成256×192输入到关键节点检测网络模型中，检测出运动员和滑雪板的关键节点；
(5)利用关键节点对运动员和滑雪板进行姿态和运动学参数分析。
所述步骤(1)具体是指：通过高速摄影相机对滑雪运动员的动作数据进行采集，并将采集到的视频数据进行逐帧提取转换成RGB图像格式进行存储，把视频数据拆分成多帧图像；所采集的视频数据包括滑雪运动员的助滑阶段，起跳阶段，飞行阶段和着陆阶段；进行关键点数据集的制作：标注图像关节点的位置坐标并保存到json文件中，并按照公开数据集MS COCO数据集对关键点的保存格式来保存，保存的内容包括图像信息、图像的协议、图像的基本信息、图像的标注信息、图像的种类；将标注后的关键点数据集的图像数据分为训练集和验证集，训练集和验证集互不交叉。
所述步骤(3)中训练运动员及滑雪板检测网络模型具体包括以下步骤：
(3a)预训练：使用公开数据集MS COCO数据集预训练YOLOv5s网络模型；
(3b)设置训练的超参数：初始学习率为0.01，每个训练批次设置为16，训练的总迭代轮数设置为300epochs，优化算法为Adam；
(3c)加载预训练模型：将前面预训练好的模型参数进行迁移；
(3d)数据增强：数据增强方式包括Mosaic、Cutout、图像扰动、改变亮度、对比对、饱和度、色调、加噪声、随机缩放、随机裁剪、随机翻转、随机旋转、随机擦除方式；
(3e)运动员和滑雪板检测网络模型训练：将标注好的运动员和滑雪板视频图像数据集输入至运动员和滑雪板检测网络模型进行特征提取，然后再经过多尺度特征融合模块，最后经过预测模块输出三个不同的预测数据，包括：类别、置信度、预测框坐标；
(3f)计算损失函数：通过损失函数对张量数据相对于真实标签Groundtruth进行计算，并经过反向传播求取梯度，进行权重更新，Bounding box采用广义交并比损失函数GIOU Loss，直至损失函数降低至较小值且整体稳定，即训练完成，保存训练好的运动员及滑雪板检测网络模型参数。
所述步骤(3)中训练关键节点检测网络模型具体包括以下步骤：
(4a)预训练：首先在公开数据集ImageNet数据集上预训练，得到预训练模型，在公开数据集MS COCO数据集上进行训练，训练得到所需的预训练模型，在此基础上，训练制作好的滑雪运动员数据集；
(4b)设置训练的超参数：总迭代轮数设置为210epoch即210轮,初始学习率为1e-3即1×10-3，在第170epoch时学习率设置为1e-4即1×10-4,第200epoch时设置为1e-5,每个训练批次设置为32，优化算法为Adam；
(4c)加载预训练模型：将前面预训练好的模型参数进行迁移；
(4d)数据增强：数据增强方式包括随机旋转[-45°,45°]，随机缩放[0.65,1.35]和随机翻转；
(4e)关键节点检测网络模型训练：将标注好的滑雪运动员数据集经过运动员和滑雪板检测网络模型进行检测，将检测到的Bounding box固定到宽高比Height:Width＝4:3，然后裁剪成为256×192后输入到关键点检测网络模型中进行训练，最后通过预测模块输出运动员的滑雪板的关键点坐标、置信度信息；
(4f)计算损失函数：损失函数使用均方误差来比较预测的热图Heatmap与真实标签Groundtruth的热图Heatmap,公式如下：
其中，N表示一个人体实例标注的关键点数，xi′表示预测关键点的热图，xi表示真实标签的热图；
对每个关键点计算其均方误差损失；直至损失函数降低至较小值，即训练完成，保存训练好的关键点检测模型参数。
所述步骤(5)具体是指：将检测到的关键节点显示在滑雪运动员和滑雪板视频图像上并进行相应连线，分别对助滑阶段、起跳阶段、飞行阶段和着陆阶段进行分析：
(5a)助滑阶段：对所预测的关键节点进行可视化，此过程中分析如何保持最佳的身体呈流线型来获得最大的水平速度，在助滑过程中，手臂向身体后方伸直摆动时，身体上部之间呈现姿势通过肩-髋-膝之间的角度θ1来确定，身体下半部分的姿势主要是依据髋-膝-踝之间的角度θ2来决定；假设三个关节A(x1,y1)，B(x2,y2)，C(x3，y3)，A点为中间关键点，即计算∠BAC，计算过程向量AB＝(x1-x2，y1-y2)，向量AC＝(x1-x3，y1-y3)，计算出的角度需取锐角，计算公式为：
计算出θ1、θ2后，通过与最佳的身体呈流线型获得最大的水平速度所对应的最佳角度θ1、θ2比较，不断调整滑雪运动员的姿态进行训练；
(5b)起跳阶段：假设三个关节A(x1，y1)，B(x2，y2)，C(x3，y3)，A点为中间关键点，即计算∠BAC，计算过程向量AB＝(x1-x2，y1-y2)，向量AC＝(x1-x3，y1-y3)，计算出的角度需取锐角，通过下式计算髋-膝-踝之间的角度θ3，和膝-踝-足之间的角度θ4：
现所采集的跳台滑雪数据，已知帧率，推算出两帧间隔时间，设为T，比例尺已知，假设图中比例尺长度为d，实际比例尺长度为1米，选取相邻两帧在起跳区临近离台时的帧图像，计算起跳的水平速度；根据预测这两帧图像上运动员关键点，选取两帧的髋/膝关节坐标，前一帧髋/膝关节(x1，y1)，后一帧髋/膝关节(x2,y2)，两帧图像取同一侧身体的关节，则水平速度的公式为：
计算垂直速度，公式为：
根据起跳时水平速度和垂直速度，得出起跳时的合速度：
在计算得到合速度、角度θ3和角度θ4之后，与奥运会中成绩高的优秀运动员的角度和速度进行比较，不断调整滑雪运动员的姿态进行训练；
(5c)飞行阶段：选取滑雪板上运动员脚趾前后的四个关键点，通过预测的这四个关键点计算出滑雪板的夹角θ5，假设左侧滑雪板预测的前后关键点分别为D(x1,y1)，E(x2,y2)，右侧滑雪板预测的前后关键点分别为F(x3,y3)，G(x4,y4)，则向量DE＝(x1-x2，y1-y2)，向量FG＝(x3-x4，y3-y4)，计算滑雪板夹角公式为：
计算出该夹角后，与优选的滑雪板夹角范围为24°～32°进行比较，不断调整滑雪运动员的姿态进行训练；
(5d)着陆阶段：假设腕-肩-髋三个关节H(x2,y2)，I(x1,y1)，J(x3,y3)，I点为中间关键点，即计算∠HIJ，计算过程向量IH＝(x1-x2，y1-y2)，向量IJ＝(x1-x3，y1-y3)，计算出的角度需取锐角，计算公式为：
通过上述公式计算下半身的髋-膝-踝的角度θ7以及手臂伸直情况下腕-肩-髋的角度θ6，并与着陆阶段最佳的θ7、θ6进行比较，分析落地的安全性。
由上述技术方案可知，本发明的有益效果为：第一，本发明的数据获取较为简单，通过在跳台滑雪场地正确合理布置多台高速摄影相机，捕获视频数据；第二，本发明通过建立一个跳台滑雪数据集，利用深度学习的方法实现运动员和滑雪板关键节点的检测，实现自动标注运动员和滑雪板的关键点；第三，本发明通过对跳台滑雪运动员和滑雪板的关键点的检测，用来分析运动员的姿态和速度，辅助滑雪运动员的训练；第四，本发明利用自顶向下的姿态检测过程，可以提高关键点检测的准确性，从而提高对运动分析的准确性。
附图说明
图1为关键点标注的骨骼拓扑图；
图2为运动员和滑雪板关键点检测网络的迁移方法示意图；
图3为本发明的方法流程图；
图4、5、6、7分别为助滑阶段、起跳阶段、飞行阶段、着陆阶段的运动员和滑雪板关键点可视化图。
具体实施方式
如图3所示，一种基于视频的跳台滑雪运动分析方法，该方法包括下列顺序的步骤：
(1)获取跳台滑雪运动的视频数据：使用标定后的高速摄影相机对滑雪运动员的动作数据进行采集，对数据进行预处理并制作数据集，使用标注工具Labelme对滑雪运动员和滑雪板的可见关键节点和真实边界框Boundingbox信息进行标注；
(2)分别构建运动员和滑雪板检测网络模型、关键节点检测网络模型：所述运动员和滑雪板检测网络模型采用YOLOv5s深度卷积神经网络，所述关键节点检测网络模型采用HRNet深度卷积神经网络；
(3)分别训练运动员和滑雪板检测网络模型、关键节点检测网络模型；
(4)预测视频图像中运动员和滑雪板的关键节点：首先将待测滑雪运动员的视频图像采用YOLOv5s网络模型进行运动员和滑雪板的实时检测，再将检测得到的运动员和滑雪板的边界框裁剪成256×192输入到关键节点检测网络模型中，检测出运动员和滑雪板的关键节点；
(5)利用关键节点对运动员和滑雪板进行姿态和运动学参数分析。
所述步骤(1)具体是指：通过高速摄影相机对滑雪运动员的动作数据进行采集，并将采集到的视频数据进行逐帧提取转换成RGB图像格式进行存储，把视频数据拆分成多帧图像；所采集的视频数据包括滑雪运动员的助滑阶段，起跳阶段，飞行阶段和着陆阶段；进行关键点数据集的制作：标注图像关节点的位置坐标并保存到json文件中，如图1所示，并按照公开数据集MS COCO数据集对关键点的保存格式来保存，保存的内容包括图像信息、图像的协议、图像的基本信息、图像的标注信息、图像的种类；将标注后的关键点数据集的图像数据分为训练集和验证集，训练集和验证集互不交叉。公开数据集MS COCO数据集是由微软出资标注的MS COCO数据集，与ImageNet竞赛一样，被视为是计算机视觉领域最受关注和最权威的比赛之一。
本发明使用的高速摄影相机的型号有两种，一种是德国Simi Motion高速摄像机，采样频率200Hz，另一种是Fastcam Mini WX100高速摄像机，采样频率500Hz。通过高速摄影相机对滑雪运动员的动作数据进行采集，并将采集到的视频数据进行逐帧提取转换成RGB图像格式进行存储，包括使用高速摄影相机对滑雪运动员的动作进行采集，滑雪运动员的动作姿态是连续的，采集得到的数据为实时的视频数据。将视频数据按照RGB三通道图像的方式，把视频数据拆分成若干帧图像。一共采集了4名运动员，所采集的数据包括滑雪运动员的助滑阶段，起跳阶段，飞行阶段和着陆阶段。三名运动员的数据用来制作训练集，另外一名用来制作验证集。关键点数据集的制作包括图像关节点的位置坐标标注并保存到json文件中，并按照公开数据集MS COCO数据集对关键点的保存格式来保存，保存的内容主要包括1.图像信息(包括收集日期，图片贡献者，收集日期等)；2.图像的协议：可包括多个协议；3.图像的基本信息：包括每张图像使用的协议编号，图像名称和网络链接，图像的宽高，图像的编号；4.图像的标注信息：包括每张图像的分割信息，标注的关键点数，图像中人物的面积，是否为拥挤场景，具体的关键点的坐标信息(不可见的关键点的坐标x,y、可见性v均设置为0)，图像的编号，标注的类别(因为是滑雪运动员，所以类别统一设置为数字1，代表人)，标注的编号；5.图像的种类：包括超类(设置为person)，类别编号(设置为数字1)，类名(设置为person)，关键点具体种类，关键点之间的连接信息。
构建运动员和滑雪板检测网络模型时，本发明对人体姿态估计的方案采用的自上而下的方法，这种方法是两阶段式，即先检测出运动员和滑雪板，再预测运动员和滑雪板的关键点。这里，第一阶段先检测出运动员和滑雪板，由于在Pytorch深度学习框架下直接调用的目标检测器对于图像模糊的情况检测效果并不是很好，会出现很多漏检的情况。故需训练适合本发明的目标检测模型，这里基于YOLOv5s训练检测运动员和滑雪板的模型。
原始图像640×640×3的图像输入Focus模块，先复制四份，然后通过采用切片操作将这个四个图片切成了四个3×320×320的切片，接下来使用concat从深度上连接这四个切片，输出为12×320×320，之后再通过卷积核数为64的卷积层，生成64×320×320的输出，最后经过batch_borm和leaky_relu将结果输入到下一个卷积层，同时感受野也增加了。CBL模块由Conv+Bn+Leaky_relu激活函数三个基本组件组成。Res unit模块和Resnet网络中的残差结构相似，两个CBL模块串联后再和Res unit模块的输入进行相加后输出，这样使得网络可以构建的更深。CSP1_X模块CSP2_X的不同之处在于CBL模块之后连接的是X个残差组件还是2*X个CBL模块，其他部分相同，都用来对图像特征的提取。模块CSP2加强网络特征融合的能力。SPP模块在CBL模块之后采用5×5,9×9,13×13的最大池化的方式和一个跳跃连接，进行多尺度concat融合。SPP的输入是512×20×20，经过1x1的卷积层后输出256×20×20，然后经过并列的三个Maxpool进行下采样，将结果与其初始特征相加，输出1024×20×20，最后用512的卷积核将其恢复到512×20×20，最主要的作用就是融合了局部与全局特征,提高感受野。NECK阶段整体上采取FPN+PAN结构，FPN是自顶向下，将高层的强语义特征传递下来，对整个金字塔进行增强，但只增强了语义信息，对定位信息没有传递。PAN就是针对这一点，在FPN的后面添加一个自底向上的金字塔，对FPN补充，将低层的强定位特征传递上去，此阶段CSP2模块加强网络特征融合的能力。
在构建关键节点检测网络模型时，由于滑雪运动员的高速摄影相机采样频率比较高，由视频转换成视频帧时，会存在运动员图像模糊，故采用的深度学习网络尽量保持高分辨率，这样所预测出来的关键点会越准确，进而分析运动员的四个阶段的姿态和速度会更加准确。所以这里采用了HRNet，HRNet所采用的四个并行子网络的通道数依次为32，64，128，256，该网络一共四个stage。
该网络最基本的特征提取模块为残差网络，利用残差网络来进行深层特征的提取。残差网络存在两种形式，即基本残差和瓶颈残差。HRNet中使用了这两种残差网络，残差网络的使用方法是同时串联四个同样的基本残差块或瓶颈残差块来提取特征。在第一个阶段中，通过残差网络提取的特征并没有融合，在原来第一个阶段的第一个并行子网络的基础上通过3×3卷积层(步幅为1)+BN+ReLU用于维度匹配第二个阶段的第一个并行分支，通过3×3卷积层(步幅为2)+BN+ReLU用于特征图尺寸变换构建第二个阶段的第二个分支。之后进行特征融合，是否进行特征融合，需要提前判断。当仅包含一个分支时，生成该分支，没有融合模块，直接返回；当包含不仅一个分支时，先将对应分支的输入特征输入到对应分支，得到对应分支的输出特征，紧接着执行融合模块。特征融合的方式有三种：
第一种特征融合方式为：第一分支的连接之间不做任何操作，第二，三分支先通过1×1卷积层(步幅为1)进行通道匹配，进而跟着BN，然后再进行最近邻上采样到第一分支的分辨率，融合三个分支的特征；
第二种特征融合方式为：第一分支通过一个3×3跨步卷积(步幅为2)下采样(不使用bias)，下采样到第二分支的分辨率大小，后接BN，不使用ReLU，第二分支之间不做任何操作，第三分支先通过1×1卷积层(步幅为1)进行通道匹配，进而跟着BN，然后再通过最近邻上采样到第二分支的分辨率，融合三个分支的特征；
第三种特征融合方式为：第一分支先通过3×3跨步卷积(步幅为2)下采样(不使用bias)，下采样到第二分支的分辨率和通道大小，后接BN和ReLU，再通过一个3×3跨步卷积(步幅为2)下采样，下采样到第三分支的分辨率大小，后接BN，不使用ReLU；第二分支使用3×3跨步卷积(步幅为2)下采样(不使用bias)到第三分支的分辨率大小，后接BN，不使用ReLU；第三分支之间不做任何操作，最后融合三个分支的特征。
所述步骤(3)中训练运动员及滑雪板检测网络模型具体包括以下步骤：
(3a)预训练：使用公开数据集MS COCO数据集预训练YOLOv5s网络模型；MS COCO数据集可以进行三个任务的比赛，一是目标检测比赛，YOLOv5s网络就是目标检测网络，本发明中检测的目标就是运动员和滑雪板，因为要预测这两个的关键点；二是关键点检测比赛，本申请的HRNet网络就是关键点检测网络，三是语义分割比赛，本发明中不涉及；
(3b)设置训练的超参数：初始学习率为0.01，每个训练批次设置为16，训练的总迭代轮数设置为300epochs，优化算法为Adam；
(3c)加载预训练模型：将前面预训练好的模型参数进行迁移，如图2所示；
(3d)数据增强：数据增强方式包括Mosaic、Cutout、图像扰动、改变亮度、对比对、饱和度、色调、加噪声、随机缩放、随机裁剪、随机翻转、随机旋转、随机擦除方式；
(3e)运动员和滑雪板检测网络模型训练：将标注好的运动员和滑雪板视频图像数据集输入至运动员和滑雪板检测网络模型进行特征提取，然后再经过多尺度特征融合模块，最后经过预测模块输出三个不同的预测数据，包括：类别、置信度、预测框坐标；
(3f)计算损失函数：通过损失函数对张量数据相对于真实标签Groundtruth进行计算，并经过反向传播求取梯度，进行权重更新，Bounding box采用广义交并比损失函数GIOU Loss，直至损失函数降低至较小值且整体稳定，即训练完成，保存训练好的运动员及滑雪板检测网络模型参数。
所述步骤(3)中训练关键节点检测网络模型具体包括以下步骤：
(4a)预训练：首先在公开数据集ImageNet数据集上预训练，得到预训练模型，在公开数据集MS COCO数据集上进行训练，训练得到所需的预训练模型，在此基础上，训练制作好的滑雪运动员数据集；公开数据集ImageNet数据集是为了促进计算机图像识别技术的发展而设立的一个大型图像数据集，每年ImageNet的项目组织都会举办一场ImageNet大规模视觉识别竞赛，和MS COCO一样，该数据集也可进行五个方向的比赛。
(4b)设置训练的超参数：总迭代轮数设置为210epochs即210轮,初始学习率为1e-3即1×10-3，在第170epoch时学习率设置为1e-4即1×10-4,第200epoch时设置为1e-5,每个训练批次设置为32，优化算法为Adam；
(4c)加载预训练模型：将前面预训练好的模型参数进行迁移；
(4d)数据增强：数据增强方式包括随机旋转[-45°,45°]，随机缩放[0.65,1.35]和随机翻转；
(4e)关键节点检测网络模型训练：将标注好的滑雪运动员数据集经过运动员和滑雪板检测网络模型进行检测，将检测到的Bounding box固定到宽高比Height:Width＝4:3，然后裁剪成为256×192后输入到关键点检测网络模型中进行训练，最后通过预测模块输出运动员的滑雪板的关键点坐标、置信度信息；
(4f)计算损失函数：损失函数使用均方误差来比较预测的热图Heatmap与真实标签Groundtruth的热图Heatmap,公式如下：
其中，N表示一个人体实例标注的关键点数，xi′表示预测关键点的热图，xi表示真实标签的热图；
对每个关键点计算其均方误差损失；直至损失函数降低至较小值，即训练完成，保存训练好的关键点检测模型参数。
所述步骤(5)具体是指：将检测到的关键节点显示在滑雪运动员和滑雪板视频图像上并进行相应连线，分别对助滑阶段、起跳阶段、飞行阶段和着陆阶段进行分析：
(5a)助滑阶段：对所预测的关键节点进行可视化，此过程中分析如何保持最佳的身体呈流线型来获得最大的水平速度，在助滑过程中，手臂向身体后方伸直摆动时，身体上部之间呈现姿势通过肩-髋-膝之间的角度θ1来确定，身体下半部分的姿势主要是依据髋-膝-踝之间的角度θ2来决定；假设三个关节A(x1,y1)，B(x2，y2)，C(x3，y3)，A点为中间关键点，即计算∠BAC，计算过程向量AB＝(x1-x2，y1-y2)，向量AC＝(x1-x3，y1-y3)，计算出的角度需取锐角，计算公式为：
计算出θ1、θ2后，通过比较最佳的身体呈流线型获得最大的水平速度所对应的最佳角度θ1、θ2，不断调整滑雪运动员的姿态进行训练。通过比较最佳的身体呈流线型获得最大的水平速度所对应的最佳角度，不断调整滑雪运动员的姿态进行训练，不断磨合，为起跳阶段获得足够快的起跳速度。
(5b)起跳阶段：起跳阶段是整个技术动作的关键，运动员从起跳台边缘前(5-6m)，下肢伸膝伸髋，上身向前伸展，需要获得最大的垂直速度和水平速度，起跳瞬间的身体姿势决定了起跳的高度和飞行的距离。水平速度在助滑阶段基本已经确定，这个阶段的垂直速度主要是靠脚的蹬伸力，所以髋-膝-踝的角度和膝-踝-足的角度非常重要，这两个角度很大程度上影响了脚的蹬伸力从而影响了起跳的垂直速度。
如图5所示，假设三个关节A(x1，y1)，B(x2，y2)，C(x3，y3)，A点为中间关键点，即计算∠BAC，计算过程向量AB＝(x1-x2，y1-y2)，向量AC＝(x1-x3，y1-y3)，计算出的角度需取锐角，通过下式计算髋-膝-踝之间的角度θ3，和膝-踝-足之间的角度θ4：
现所采集的跳台滑雪数据，已知帧率，推算出两帧间隔时间，设为T，比例尺已知，假设图中比例尺长度为d，实际比例尺长度为1米，选取相邻两帧在起跳区临近离台时的帧图像，计算起跳的水平速度；根据预测这两帧图像上运动员关键点，选取两帧的髋/膝关节坐标，前一帧髋/膝关节(x1，y1)，后一帧髋/膝关节(x2，y2)，两帧图像取同一侧身体的关节，则水平速度的公式为：
计算垂直速度，公式为：
根据起跳时水平速度和垂直速度，得出起跳时的合速度：
在计算得到合速度、角度θ3和角度θ4之后，与奥运会中成绩高的优秀运动员的角度和速度进行比较，不断调整滑雪运动员的姿态进行训练；与奥运会中成绩高的优秀运动员的角度和速度进行比较，因为这样的视频数据是可以获取到的。由于国际优秀运动员起跳速度可达25m/s及以上，所以训练时起跳速度的分析是和此速度比较，比较方法为可以通过程序实时显示运动员训练时的速度。
(5c)飞行阶段：运动员在空中不断调整飞行姿态及滑雪板相对位置及夹角。起跳后，运动员的上半身应充分伸展，下肢伸膝伸髋，身体整体尽可能与雪板平行，以踝关节控制雪板呈“V”型。此阶段的调整大多是为了减少空气阻力，以获得更远的水平距离。肩-髋-膝-踝尽量在一个平面上；身体所在平面和雪板平面之间的夹角以及膝-踝-雪板之间的角度；另一个重要的角度就是雪板之间的角度，飞行过程中，两个雪板呈“V”型，风洞实验证明，与滑雪板平行相比，“V”型滑雪板姿势能减少百分之二十八的风阻，提供更多的上升力。由于在飞行过程中，滑雪板会存在震颤，故选取滑雪板的关键点也十分重要。
如图6所示，选取滑雪板上运动员脚趾前后的四个关键点，通过预测的这四个关键点计算出滑雪板的夹角θ5，假设左侧滑雪板预测的前后关键点分别为D(x1，y1)，E(x2，y2)，右侧滑雪板预测的前后关键点分别为F(x3，y3)，G(x4，y4)，则向量DE＝(x1-x2，y1-y2)，向量FG＝(x3-x4，y3-y4)，计算滑雪板夹角公式为：
计算出该夹角后，与优选的滑雪板夹角范围为24°～32°进行比较，不断调整滑雪运动员的姿态进行训练；研究表明，V型雪板能减少28％的风阻，优选的滑雪板夹角范围为24°～32°。我国滑雪运动员在训练过程中，为减少空气阻力的影响，应尽量靠近这个夹角范围。
(5d)着陆阶段：运动员通过成功着陆在着陆坡的K点后才能获得高分，着陆后一只脚前，一只脚向后类似弓箭步的双腿微曲姿势，能有效减少对人体强大的冲击力。只有这种台阶式的落地技术符合国际滑雪联合会(International Ski Federation)规则要求。在这个阶段，如何保持平稳着陆十分关键。下半身的髋-膝-踝的不同角度以及手臂伸直情况下腕-肩-髋的角度对重心的调整从而对运动员是否能够平稳着陆十分重要。
如图7所示，假设腕-肩-髋三个关节H(x2，y2)，I(x1，y1)，J(x3,y3)，I点为中间关键点，即计算∠HIJ，计算过程向量IH＝(x1-x2，y1-y2)，向量IJ＝(x1-x3，y1-y3)，计算出的角度需取锐角，计算公式为：
通过上述公式计算下半身的髋-膝-踝的角度θ7以及手臂伸直情况下腕-肩-髋的角度θ6，并与着陆阶段最佳的θ7、θ6进行比较，分析落地的安全性。经过助滑、起跳和空中飞行，最后再完成正确成功的着陆动作，使整套动作连贯一致，一气呵成，运动员由此便可获得高分。另外重要的是，为了确保运动员的安全性，国际雪联规定着陆时，两脚成弓箭步前后分开，通过计算的夹角来分析落地的安全性。
综上所述，本发明的数据获取较为简单，通过在跳台滑雪场地正确合理布置多台高速摄影相机，捕获视频数据；本发明通过建立一个跳台滑雪数据集，利用深度学习的方法实现实时的运动员和滑雪板关键节点的检测，无需重复劳动去标注运动员和滑雪板的关键点；本发明通过对跳台滑雪运动员和滑雪板的关键点的检测，用来分析运动员的姿态和速度，辅助滑雪运动员的训练；本发明利用自顶向下的姿态检测过程，可以提高关键点检测的准确性，从而对运动的分析也更加准确。
Claims (5)
1.一种基于视频的跳台滑雪运动分析方法，其特征在于：该方法包括下列顺序的步骤：
(1)获取跳台滑雪运动的视频数据：使用标定后的高速摄影相机对滑雪运动员的动作数据进行采集，对数据进行预处理并制作数据集，使用标注工具Labelme对滑雪运动员和滑雪板的可见关键节点和真实边界框Boundingbox信息进行标注；
(2)分别构建运动员和滑雪板检测网络模型、关键节点检测网络模型：所述运动员和滑雪板检测网络模型采用YOLOv5s深度卷积神经网络，所述关键节点检测网络模型采用HRNet深度卷积神经网络；
(3)分别训练运动员和滑雪板检测网络模型、关键节点检测网络模型；
(4)预测视频图像中运动员和滑雪板的关键节点：首先将待测滑雪运动员的视频图像采用YOLOv5s网络模型进行运动员和滑雪板的实时检测，再将检测得到的运动员和滑雪板的边界框裁剪成256×192输入到关键节点检测网络模型中，检测出运动员和滑雪板的关键节点；
(5)利用关键节点对运动员和滑雪板进行姿态和运动学参数分析。
2.根据权利要求1所述的基于视频的跳台滑雪运动分析方法，其特征在于：所述步骤(1)具体是指：通过高速摄影相机对滑雪运动员的动作数据进行采集，并将采集到的视频数据进行逐帧提取转换成RGB图像格式进行存储，把视频数据拆分成多帧图像；所采集的视频数据包括滑雪运动员的助滑阶段，起跳阶段，飞行阶段和着陆阶段；进行关键点数据集的制作：标注图像关节点的位置坐标并保存到json文件中，并按照公开数据集MS COCO数据集对关键点的保存格式来保存，保存的内容包括图像信息、图像的协议、图像的基本信息、图像的标注信息、图像的种类；将标注后的关键点数据集的图像数据分为训练集和验证集，训练集和验证集互不交叉。
3.根据权利要求1所述的基于视频的跳台滑雪运动分析方法，其特征在于：所述步骤(3)中训练运动员及滑雪板检测网络模型具体包括以下步骤：
(3a)预训练：使用公开数据集MS COCO数据集预训练YOLOv5s网络模型；
(3b)设置训练的超参数：初始学习率为0.01，每个训练批次设置为16，训练的总迭代轮数设置为300epochs，优化算法为Adam；
(3c)加载预训练模型：将前面预训练好的模型参数进行迁移；
(3d)数据增强：数据增强方式包括Mosaic、Cutout、图像扰动、改变亮度、对比对、饱和度、色调、加噪声、随机缩放、随机裁剪、随机翻转、随机旋转、随机擦除方式；
(3e)运动员和滑雪板检测网络模型训练：将标注好的运动员和滑雪板视频数据集输入至运动员和滑雪板检测网络模型进行特征提取，然后再经过多尺度特征融合模块，最后经过预测模块输出三个不同的预测数据，包括：类别、置信度、预测框坐标；
(3f)计算损失函数：通过损失函数对张量数据相对于真实标签Groundtruth进行计算，并经过反向传播求取梯度，进行权重更新，Bounding box采用广义交并比损失函数GIOULoss，直至损失函数降低至较小值且整体稳定，即训练完成，保存训练好的运动员及滑雪板检测网络模型参数。
4.根据权利要求1所述的基于视频的跳台滑雪运动分析方法，其特征在于：所述步骤(3)中训练关键节点检测网络模型具体包括以下步骤：
(4a)预训练：首先在公开数据集ImageNet数据集上预训练，得到预训练模型，在公开数据集MS COCO数据集上进行训练，训练得到所需的预训练模型，在此基础上，训练制作好的滑雪运动员数据集；
(4b)设置训练的超参数：总迭代轮数设置为210epochs即210轮，初始学习率为1e-3即1×10-3，在第170epoch时学习率设置为1e-4即1×10-4，第200epoch时设置为1e-5，每个训练批次设置为32，优化算法为Adam；
(4c)加载预训练模型：将前面预训练好的模型参数进行迁移；
(4d)数据增强：数据增强方式包括随机旋转[-45°，45°]，随机缩放[0.65，1.35]和随机翻转；
(4e)关键节点检测网络模型训练：将标注好的滑雪运动员数据集经过运动员和滑雪板检测网络模型进行检测，将检测到的Bounding box固定到宽高比Height:Width＝4:3，然后裁剪成为256×192后输入到关键点检测网络模型中进行训练，最后通过预测模块输出运动员的滑雪板的关键点坐标、置信度信息；
(4f)计算损失函数：损失函数使用均方误差来比较预测的热图Heatmap与真实标签Groundtruth的热图Heatmap，公式如下：
其中，N表示一个人体实例标注的关键点数，xi′表示预测关键点的热图，xi表示真实标签的热图；
对每个关键点计算其均方误差损失；直至损失函数降低至较小值，即训练完成，保存训练好的关键点检测模型参数。
5.根据权利要求1所述的基于视频的跳台滑雪运动分析方法，其特征在于：所述步骤(5)具体是指：将检测到的关键节点显示在滑雪运动员和滑雪板视频图像上并进行相应连线，分别对助滑阶段、起跳阶段、飞行阶段和着陆阶段进行分析：
(5a)助滑阶段：对所预测的关键节点进行可视化，此过程中分析如何保持最佳的身体呈流线型来获得最大的水平速度，在助滑过程中，手臂向身体后方伸直摆动时，身体上部之间呈现姿势通过肩-髋-膝之间的角度θ1来确定，身体下半部分的姿势主要是依据髋-膝-踝之间的角度θ2来决定；假设三个关节A(x1，y1)，B(x2，y2)，C(x3，y3)，A点为中间关键点，即计算∠BAC，计算过程向量AB＝(x1-x2，y1-y2)，向量AC＝(x1-x3，y1-y3)，计算出的角度需取锐角，计算公式为：
计算出θ1、θ2后，通过与最佳的身体呈流线型获得最大的水平速度所对应的最佳角度θ1、θ2进行比较，不断调整滑雪运动员的姿态进行训练；
(5b)起跳阶段：假设三个关节A(x1，y1)，B(x2，y2)，C(x3，y3)，A点为中间关键点，即计算∠BAC，计算过程向量AB＝(x1-x2，y1-y2)，向量AC＝(x1-x3，y1-y3)，计算出的角度需取锐角，通过下式计算髋-膝-踝之间的角度θ3，和膝-踝-足之间的角度θ4：
现所采集的跳台滑雪数据，已知帧率，推算出两帧间隔时间，设为T，比例尺已知，假设比例尺长度为d，实际比例尺长度为1米，选取相邻两帧在起跳区临近离台时的帧图像，计算起跳的水平速度；根据预测这两帧图像上运动员关键点，选取两帧的髋/膝关节坐标，前一帧髋/膝关节(x1，y1)，后一帧髋/膝关节(x2，y2)，两帧图像取同一侧身体的关节，则水平速度的公式为：
计算垂直速度，公式为：
根据起跳时水平速度和垂直速度，得出起跳时的合速度：
在计算得到合速度、角度θ3和角度θ4之后，与历届奥运会中成绩高的优秀运动员的姿态和速度进行比较，不断调整滑雪运动员的姿态进行训练；
(5c)飞行阶段：选取滑雪板上运动员脚趾前后的四个关键点，通过预测的这四个关键点计算出滑雪板的夹角θ5，假设左侧滑雪板预测的前后关键点分别为D(x1，y1)，E(x2，y2)，右侧滑雪板预测的前后关键点分别为F(x3，y3)，G(x4，y4)，则向量DE＝(x1-x2，y1-y2)，向量FG＝(x3-x4，y3-y4)，计算滑雪板夹角公式为：
计算出该夹角后，与优选的滑雪板夹角范围为24°～32°进行比较，不断调整滑雪运动员的姿态进行训练；
(5d)着陆阶段：假设腕-肩-髋三个关节H(x2，y2)，I(x1，y1)，J(x3，y3)，I点为中间关键点，即计算∠HIJ，计算过程向量IH＝(x1-x2，y1-y2)，向量IJ＝(x1-x3，y1-y3)，计算出的角度需取锐角，计算公式为：
通过上述公式计算下半身的髋-膝-踝的角度θ7以及手臂伸直情况下腕-肩-髋的角度θ6，并与着陆阶段最佳的θ7、θ6进行比较，分析落地的安全性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111326571.0A CN114049590A (zh) | 2021-11-10 | 2021-11-10 | 一种基于视频的跳台滑雪运动分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111326571.0A CN114049590A (zh) | 2021-11-10 | 2021-11-10 | 一种基于视频的跳台滑雪运动分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114049590A true CN114049590A (zh) | 2022-02-15 |
Family
ID=80208063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111326571.0A Pending CN114049590A (zh) | 2021-11-10 | 2021-11-10 | 一种基于视频的跳台滑雪运动分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114049590A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943917A (zh) * | 2022-05-13 | 2022-08-26 | 合肥中盛水务发展有限公司 | 一种视觉识别污水厂好氧池曝气量的算法 |
| CN115019395A (zh) * | 2022-06-10 | 2022-09-06 | 杭州电子科技大学 | 一种基于堆叠沙漏网络的团体动作一致性的检测方法及系统 |
-
2021
- 2021-11-10 CN CN202111326571.0A patent/CN114049590A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943917A (zh) * | 2022-05-13 | 2022-08-26 | 合肥中盛水务发展有限公司 | 一种视觉识别污水厂好氧池曝气量的算法 |
| CN114943917B (zh) * | 2022-05-13 | 2023-09-19 | 合肥中盛水务发展有限公司 | 一种视觉识别污水厂好氧池曝气量的算法 |
| CN115019395A (zh) * | 2022-06-10 | 2022-09-06 | 杭州电子科技大学 | 一种基于堆叠沙漏网络的团体动作一致性的检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111274954A (zh) | 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法 | |
| CN114049590A (zh) | 一种基于视频的跳台滑雪运动分析方法 | |
| CN109344694B (zh) | 一种基于三维人体骨架的人体基本动作实时识别方法 | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| CN111680586B (zh) | 一种羽毛球运动员运动姿态估计方法及系统 | |
| CN104794449A (zh) | 基于人体hog特征的步态能量图获取及身份识别方法 | |
| CN109785359A (zh) | 一种基于深度特征金字塔与跟踪损失的视频目标检测方法 | |
| CN115115672A (zh) | 基于目标检测和特征点速度约束的动态视觉slam方法 | |
| Štepec et al. | Video-based ski jump style scoring from pose trajectory | |
| CN115100744A (zh) | 一种羽毛球比赛人体姿态估计和球路追踪方法 | |
| Ye | Intelligent image processing technology for badminton robot under machine vision of internet of things | |
| CN111539364B (zh) | 基于特征融合和多分类器投票的多体感人体行为识别算法 | |
| CN114550071B (zh) | 田径视频动作关键帧自动识别和抓取方法、装置及介质 | |
| CN115019386B (zh) | 基于深度学习的运动辅助训练方法 | |
| Jiang et al. | Deep learning algorithm based wearable device for basketball stance recognition in basketball | |
| CN110070127A (zh) | 面向家居产品精细识别的优化方法 | |
| CN113837063A (zh) | 一种基于强化学习的冰壶运动现场分析和辅助决策方法 | |
| CN115346273A (zh) | 雪上运动信息监测方法及相关装置 | |
| JP7074727B2 (ja) | スポーツ行動認識装置、方法およびプログラム | |
| Wang | Recognition of Wrong Sports Movements Based on Deep Neural Network. | |
| CN114191797A (zh) | 一种自由式滑雪智能训练系统 | |
| CN112364815A (zh) | 基于三维模型的跳高运动员跳高姿态检测方法 | |
| Zhou et al. | Kinematics parameter analysis of long jump based on human posture vision | |
| Chen et al. | Application of Artificial Intelligence Vision Technology in Chinese Fencing Teaching | |
| Lessa et al. | SoccerKicks: a Dataset of 3D dead ball kicks reference movements for humanoid robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |