CN111905350B - 基于运动数据的自动化乒乓球击球表现评估方法和系统 - Google Patents

Abstract

本发明涉及一种基于运动数据的自动化乒乓球击球表现评估方法和系统，属于体育数据分析技术领域。包括：1)获取乒乓球比赛的直播视频，定义一个回合的击球为R＝{S₁,S₂,...,S_i}，S_i为击球帧序列，表示在R回合中的第i次击球；2)提取一个击球回合每次击球动作中显示双方球员运动情况的单位时间帧，并对其进行图像降噪处理；3)将每个击球帧序列中击球的技术特征和球员的运动特征进行结合，得到一个特征向量；4)获得特征向量后，使用分类预测模型评估击球的质量。在综合衡量击球的技术特征和球员的移动特征的基础上，可以精确且有效的标准来评估击球质量，并且给出合适的评估结果。

Description

基于运动数据的自动化乒乓球击球表现评估方法和系统

技术领域

本发明涉及体育数据分析技术领域，具体地说，涉及一种基于运动数据的自动化乒乓球击球表现评估方法和系统。

背景技术

在当前的体育数据分析领域，已有一些基于运动员运动状态的分析技术以及动作质量评估方法。

现有的针对运动员运动状态的分析技术，多数聚焦于物理运动学，而非赛事分析领域。例如，研究者通过检测运动员的运动特征(如力、角速度、速度等)来研究不同的训练方法对运动加速曲线的影响。在该运动学情境下，研究者依赖于在实验室中的多种传感器和摄像机的硬件支持下所能获得的细粒度运动数据。但基于常规体育比赛的数据记录设备限制，研究者们也提出来另一种替代技术利用被剖析的关键点来表征运动特征。其中较为先进的关键点估计模型有open pose，darkpose和HRNet。现有的运动状态分析技术聚焦于运动学，较高的设备要求以及支撑数据粒度标准使得研究者很难将其拓展到击球评估领域。而放宽了对于数据粒度要求的各个关键点估计模型，在可获取的比赛视频具有低帧率，低分辨率和固有估计误差等缺陷的影响下，无法保证总能捕捉到运动员击球的关键帧。

现有的动作质量评估方法，在乒乓球和其他运动领域均有涉及。在乒乓球领域，针对击球质量的评估主要有视频分析技术和模型分析技术。视频分析技术目前已经得到了广泛的应用，它是根据比赛阶段、技术类型以及得分统计，将比赛视频中的每一次击球单独剪辑出来并进行归类。乒乓球技术评估员对每一类击球视频进行反复观测，结合球员当时的运动状态，在专业的技术经验和认知范畴内，给出关于击球质量的评估。

模型分析技术又可以被分为统计型和模拟型两类。当前最热门的统计型方法是Huangqun Wu提出的“三阶段方法”，它将一个回合分为发球、接球和僵持三个阶段，针对每一个阶段计算得分率。在此方法的基础上，又衍生出一系列不同的性能指标以及统计模型来优化评估结果。模拟型方法，以Pfeiffer等人提出的马尔可夫链模型为代表，通过模拟历史比赛来评估球员在使用不同拍的情况下的表现。而Wang等人进一步提出混合二阶马尔可夫链模型，有效模拟了多种的乒乓球战术(例如三连击)，并对比赛过程中的运动员表现进行评估。

在足球领域，Decroos和Bransen等人提出运动员动作的自动评估方法；在篮球领域，Cervone等人构建出一套评估任一时刻球员运球状态的框架，Sicilia等人建立深度学习体系结构来评估球员在运球中的动作质量；相同或相似的技术和方法在网球和冰球领域均有应用。这些技术主要基于球员位置跟踪以及比赛态势数据(例如事件和得分记录表)，在其对应的特定比赛类型和规则中具有科学合理性。

在乒乓球领域的视频分析技术，一方面对乒乓球技术评估员的专业性要求极高，另一方面要求人工反复观测视频，方法时耗表现不佳。经实验统计，一个专业的分析员需要花费3小时左右的时间完成对于一个运动员一场比赛的所有击球评估。基于待分析的数据规模的增大以及合格分析员的数量稀缺，该技术的现实效能受限。

乒乓球领域的模型分析技术，对于击球数据的技术属性有严格的要求，因此数据的收集过程同样受限于分析员的领域知识水平，人工观测运动员的运动状态并手动标注每一次击球的技术属性存在耗时和出错率高的弊端。

而其他运动类型的动作质量评估方法，虽然针对特定的运动类型效果尚佳，但难以移植到乒乓球的击球评估过程中。一方面，不同的体育比赛规则，特别是团体对抗和个人对抗的差异，造成评估标准矩阵显著不同。例如，在足球比赛中，评估一次传球质量需要关注包括本方队员间的协作配合、对方的防守在内的整个过程；但在乒乓球比赛中，击球过程只有对抗，而并不存在队员间的协作，主要通过分析某次击球是否使进攻方处于有利地位来评估击球质量。另一方面，现存的评估技术聚焦于球员位置跟踪数据和比赛上下文数据，没有将球员的运动状态纳入考量。

发明内容

本发明的目的是提供一种基于运动数据的自动化乒乓球击球表现评估方法和系统，在综合衡量击球的技术特征和球员的移动特征的基础上，可以精确且有效的标准来评估击球质量，并且给出合适的评估结果。

为了实现上述目的，第一方面，本发明提供的基于运动数据的自动化乒乓球击球表现评估方法包括以下步骤：

1)获取乒乓球比赛的直播视频，定义一个回合的击球为R＝{S₁,S₂,...,S_i}，S_i为击球帧序列，表示在R回合中的第i次击球；

2)提取一个击球回合每次击球动作中显示双方球员运动情况的单位时间帧，并对其进行图像降噪处理；

3)将每个击球帧序列中击球的技术特征和球员的运动特征进行结合，得到一个特征向量；

4)获得特征向量后，使用分类预测模型评估击球的质量。

乒乓球是一种隔网比赛的球类项目，双方球员在球网两边轮流击球，一方做出的高质量击球会导致另一方接球困难以至失分。因此，分析员对于球员击球表现的评估，需要结合本方此次击球以及对应的敌方回击，也就是总计两次相继击球综合得出评估值。

优选的，在一个实施例中，步骤2)中，对单位时间帧进行图像降噪处理的过程包括：

2-1)取每次击球包括n个连续时间帧，即

使用目标检测框架，得到每一时间帧

中乒乓球桌和双方球员所在位置的边界框；

2-2)对一个球员在一个击球帧序列S_i中由于移动产生的不同边界框取并集；

2-3)给击球帧序列S_d中的每一时间帧关联一个蒙版，利用该蒙版，将边界框并集外的像素值设为0，由此降低图像噪声干扰，得到经过处理的时间帧

和击球帧序列S’_i。

优选的，在一个实施例中，步骤2-1)使用的目标检测框架为Faster R-CNN目标检测框架。

优选的，在一个实施例中，步骤2-1)设每次击球包括8个连续时间帧，取击中的时间帧及其前4帧和后3帧，作为有个击球帧序列。

为了得到一个综合的评价结果，需要同时考虑击球和运动员的特点。在现有的研究中，击球的技术特征主要有击球技术、球员位置、球位置。这些属性可以在运动员的运动状态中得到显示，而同时，运动数据也可以作为球员移动特性的表征。为了获取球员的运动数据，利用比赛视频连续帧中的光流分析技术。优选的，在一个实施例中，步骤3)包括：

3-1)判断击球帧序列为背向帧序列还是面向帧序列；

3-2)计算连续的两个时间帧

和

的光流，得到叠加光流矩阵；

3-3)若击球帧序列为背向帧序列，则将击球帧序列S’_i中所有叠加光流矩阵输入背向帧嵌入模型中进行特征嵌入；若击球帧序列为面向帧序列，则将击球帧序列S’_i中所有叠加光流矩阵输入面向帧嵌入模型中进行特征嵌入；

3-4)得到对应的特征向量。

优选的，在一个实施例中，所述的背向帧嵌入模型或面向帧嵌入模型通过以下方法训练得到：

a、利用分类好的击球帧序列S’_i建立训练集、验证集和测试集，并对每个击球帧序列S’_i进行标记，标记属性为击球技术、球员位置和球位置；

b、将训练集中的击球帧序列S’_i输入ResNet-20网络中进行训练，每训练一次采用验证集中击球帧序列S’_i进行验证，得到一个准确率；

c、直至训练到准确率不再发生变化时停止训练，并采用测试集中的击球帧序列进行测试；

d、测试成功后得到背向帧嵌入模型或面向帧嵌入模型。

优选的，在一个实施例中，步骤3-4)得到的特征向量为ResNet-20网络输出的特征向量。

优选的，在一个实施例中，步骤4)所述的分类预测模型通过以下方法训练得到：

通过职业乒乓球运动员观看比赛视频，从两个层面评估击球帧序列S_i，量化标准为1代表击球结果处于优势，-1代表击球结果处于劣势，以此建立训练集、验证集和测试集；

将训练集中的击球帧序列S_i输入支持向量机中进行训练，每次训练后利用验证集进行验证，直至训练的准确率不再发生变化；最后利用测试集进行测试，得到分类预测模型。

优选的，在一个实施例中，所述的分类预测模型预测击球帧序列S_i的质量表现概率，最后的得分Score_d有期望值表示，如下：

Score_i＝p_i,ad*1+p_i,dis*(-1)

其中，P_i,ad表示处于优势的概率，P_i,dis表示处于劣势的概率。

第二方面，本发明提供的基于运动数据的自动化乒乓球击球表现评估系统，用于实现上述基于运动数据的自动化乒乓球击球表现评估方法，包括图像处理模块、特征提取模块和得分评估模块。

与现有技术相比，本发明的有益之处在于：

本发明以击球时间帧为输入，经过对击球技术特征和球员运动特征的综合分析，自动输出对于该次击球的量化评估分数。该方法不要求用户具备领域的专业知识和经验，也不需要对击球的特征数据进行人工标注，大大减轻了分析评估员的负担。

附图说明

图1为本发明实施例中基于运动数据的自动化乒乓球击球表现评估方法的流程示意图；

图2为本发明实施例中数据平台体系架构图；

图3为本发明实施例的图像降噪技术流程图；

图4为本发明实施例的ConvNets网络的结果示意图；

图5为本发明应用例1中两种评估结果的对比图；其中A为不同技术的得分率，B为本发明方法对A中技术的评估；

图6为本发明应用例1中搓球技术评估结果示意图；

图7为本发明应用例2中两球员的评分结果示意图；其中A为两球员在每个回合中的评分差距可视化，在第四局中陈梦的评分经历了一个上升的趋势，伊藤则经历了一个下降的趋势，B为得分方表现差于失分方的异常局次，C和D显示在转折点回合中的每一次击球评估细节；

图8为本发明应用例3中异常回合中的每一次击球情况。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

实施例

参见图1，本实施例的基于运动数据的自动化乒乓球击球表现评估系统包括数据平台、图像处理模块、特征提取模块和得分评估模块。

乒乓球是一种隔网比赛的球类项目，双方球员在球网两边轮流击球，一方的做出的高质量击球会导致另一方接球困难以至失分。因此，分析员对于球员击球表现的评估，需要结合本方此次击球以及对应的敌方回击，也就是总计两次相继击球综合得出评估值。在这里，定义一个回合的击球为：

R＝{S₁,S₂,...,S_i}

其中，S_i为击球帧序列，表示在R回合中的第i次击球。

由此，可以将乒乓球击球质量评估函数定义如下：

Score_i＝F(S_i,S_i+1)

其中，F表示评估函数，Score_i表示第i次击球的质量评分。一个回合中的最后一次击球默认为低质量击球，因为它最直接促成了该轮次的失分。

为了得到一个综合的评价结果，该评估函数需要同时考虑击球和运动员的特点。在现有的研究中，击球的技术特征主要有击球技术、球员位置、球位置。这些属性可以在运动员的运动状态中得到显示，而同时，运动数据也可以作为球员移动特性的表征。为了获取球员的运动数据，利用比赛视频连续帧中的光流分析技术。

设每一次击球被分为8个连续的帧，即：

其中，第5帧即

表示球员恰好击中球的时间帧。相应地，前4帧在击中前，后4帧在击中后。

本实施例的数据平台如图2所示，国家队的分析人员基于该数据平台能够收集和分析比赛数据。该平台由数据库、数据采集过程和数据分析过程三部分组成。

数据库使分析人员能够存储数据，例如国家乒乓球运动员参与的比赛的直播视频、球员信息和乒乓球比赛的元信息。数据采集过程利用先进的计算机视觉技术处理比赛视频，半自动提取击球的技术属性。数据分析过程支持各种分析技术，如可视化和仿真。可视化部分提供了一个交互式可视化分析工具iTTVis，来帮助分析人员研究提取出的技术属性，以获得新的技术层面的认识。模拟部分采用混合二阶马尔可夫链模型对特定运动员的比赛进行模拟，帮助教练员改进训练计划和比赛策略。目前，该平台已经存储了5000多个比赛视频和对应的相关数据，这为完成设计一个高效的数据驱动的击球质量自动评估系统提供了良好的契机。

在乒乓球运动中，运动员用球拍轮流击球。如果对手不能在一个击球回合中把球合法击回，则本方球员得分。乒乓球的基本观察单位是球员的一次击球动作。所以，数据平台以单次击球为单位记录一场比赛，而一个对抗回合的最后一次击球总是来自本回合的失分者。

每次击球的主要特征在表1中列出。前三个属性(即击球技术、球员击球时位置和球被击中前的位置)描述了击球的技术特征。基于对领域知识的要求，这些属性由专业分析人员收集。后两个属性根据游戏规则由平台自动记录和导出。该平台的数据为训练本实施例的技术系统奠定了基础。

表1：击球数据特征

属性名称	属性描述
		击球技术	运动员用来击球的技术
击球位置	运动员击球时所站的位置
		击球落点	运动员击球前，球和桌面接触时的落点
击球者	击球的运动员
		击球时间	球拍与球接触时的时间戳

在此基础上，参见图1，本实施例中基于运动数据的自动化乒乓球击球表现评估方法包括以下步骤：

S100，图像降噪

图像降噪部分主要负责检测显示双方球员运动情况的单位时间帧中有效的像素范围。具体而言，该阶段给每一个击球帧序列S_i设定一个蒙版，用于移除不必要的像素点。

该部分包含三个处理步骤，如图3所示：

第一步，使用Faster R-CNN目标检测框架，得到每一帧

检测出乒乓球桌以及双方球员所在位置的边界框。利用各个边界框所在的相对位置，可以准确区分两位球员。接下来，同时保留两位球员的位置边界框，原因在于：一，分析员在评估击球质量时需要研究球员的运动情况。例如，当球员A进行一次击球，球员B会对该次击球进行一个预估，并提前移动他的身体和球拍。如果球员A的击球动作能够误导来球员B做出错误的预判，那么该次击球将被判定为高质量的击球。二，两位球员的运动情况可提高特征提取部分嵌入特征的训练准确性，提供更多的运动学特征数据。

第二步，将一个球员在一个击球帧序列S_i中，由于移动产生的不同边界框取并集起来，作为图像中有效像素点的判定范围。边界框的并集代表可以在该帧序列S_i中，完整显示球员运动情况的最小图像区域。因此，球员的运动范围和该帧序列中所有边界框的并集等价，该并集将被用到连续帧的光流计算中。

第三步，根据已得到的两位运动员的运动范围，给击球帧序列S_i中的每一帧关联一个蒙版，以控制图像处理范围。利用该蒙版，将限定范围外的像素值设为0(即不处理的部分)，由此降低图像噪声干扰。随后，用

和S’_i来分别表示经过处理的帧和帧序列。

S200，特征提取

专业分析员普遍认为接发球双方的运动状态都可以用于表示该次击球质量。为验证这个假设，分别用双方球员的运动数据以及仅发球者的数据注入特征提取部分的ConvNets中来训练，对比结果以检测各自的效率。由于这是一个多分类任务，用所有类别的平均精度来衡量两种设计的性能。结果如表2所示：

表2：NR阶段实验数据结果

针对球员背面姿态的数据集测试，同时使用双方球员的运动数据效果显著优于使用一方球员的数据，在对击球前的球位置和击球时的球员位置的分类表现上尤为明显。针对球员正面姿态的数据集合测试，同时使用双方球员的运动数据效果劣于使用一方球员的数据，但两者准确率结果较为接近。由于使用双方球员的运动数据在所有场景中平均准确率更高，因此在Noise Reduction中最终采用该种设计。

特征提取阶段提取了击球的技术特征以及球员的运动特征，并通过分两步将它们嵌入到特征向量中，完成两类特征的结合。

第一步，用Gunnar提出的“双通道运动识别算法”，计算连续的两个时间帧

和

的光流。该算法是目前计算机视觉领域内，利用光流计算进行运动估计的最常用和经典的算法。该算法的思想是用二次多项式逼近像素的邻域，以计算像素的光流。像素的光流计算值由表征该像素位移场的矢量表示。因此，帧的光流存储在两个矩阵中。一个矩阵记录帧内所有像素的水平值，另一个记录垂直值。

第二步，参照Simonyan和Zisserman的研究成果，将S’_i中所有帧的叠加光学矩阵输入到ConvNets进行特征嵌入。ConvNets的任务是根据输入光流识别三个技术属性(即击球技术、球员位置和球位置)。图4中C显示了ConvNets的体系结构。用ResNet-20代替骨干模型，ResNet-20的输出是得分评估要使用的特征向量。在这个体系结构中，特征向量被进一步传输到三个全连接层和用于属性分类的softmax函数。在训练过程中，将S’_i分为两类，背向帧序列(即击球者背对摄影机)和面向帧序列(即击球者面对摄影机)，因为即使球员进行相同类型的击球，他背对和面对摄影机的动作是完全不同的。通过这样的方式，可以训练两个特定的模型来提高嵌入特征向量的准确性。

S300，得分评估

在该阶段，需要一个能够准确衡量击球质量的模型。测试目前流行的若干分类模型，包括经典随机森林、支持向量机和最新的CatBoost、XGBoost和LightGBM，结果如表3所示：

表3：PR阶段实验数据结果

CatBoost的平均精度(73.84％)最高，但它在交叉检验时标准方差也最高，说明该分类器的表现并不稳定。该阶段最终选择支持向量机作为分类器，因为它的平均精度接近表现最优的CatBoost，且标准方差最低，具有更好的稳定性。

基于上述分析，本阶段在获得了特征向量之后，得分评估部分使用支持向量机作为分类器来评估击球的质量。训练该分类器，用于学习基于视频方法的专业分析员评估模式，从而获得量化评估结果。将分析员对击球的评价离散为两个级别作为训练标签，并根据嵌入向量训练模型，最终对每次击球表现的进行分类。为了训练分类器，雇用5名职业乒乓球运动员，通过观看比赛视频的方式，从两个层面来评估击球帧序列S_i的质量，量化标准为由1代表击球结果处于优势，而-1代表击球结果处于劣势。每次击球的评估结果由两个标注员交叉验证。训练结束后，分类器可以预测击球帧序列S_i的质量表现概率，即P_i,ad表示处于优势的概率，P_i,dis表示处于劣势的概率。由此，最后的得分Score_i可以由期望值来表示，如下：

Score_i＝p_i,ad*1+p_i,dis*(-1)

通过以上三大关键技术突破，得到最终的击球质量评估标准函数为：

F(S_i,S_i+1)＝f_PR(f_FE(f_NR(S_i)),f_FE(f_NR(S_i+1)))

其中，f_NR，f_FE，f_PR分别表示图像降噪、特征提取和得分评估三个部分的函数。

本实施例的模型训练数据采自，日本著名乒乓球小将伊藤美诚(中国乒乓球国家队女队队员面对的强有力对手)和其他世界顶级乒乓球运动员在2019年10月前的18场比赛。以下3个用例测试数据采自2019年ITTF世界乒乓球巡回赛瑞士公开赛女单决赛，伊藤美诚对中国乒乓球国家队运动员陈梦。

以下使用三个不同角度的测试应用例来证明本实施例的有效性。第一个应用例，将本技术与现有传统技术进行效果对比，显示技术的优势。第二个应用例，关注对于比赛中球员的动态(随时间变化)表现的评估效果。第三个应用例，关注单方球员在一个回合中的表现评估。

应用例1

本应用例将本技术与现有传统技术进行效果对比，显示技术的优势。

现有的击球质量评估方法，例如“三阶段”方法以及马尔可夫链模型，都将得分率作为评估的最重要标准。在乒乓球比赛中，运动员B的某A类击球方式的得分率定义如下：

R＝N_win/(N_win+N_lose)

其中，N_win表示的是运动员B用A类方式击球，其对手接球失败的次数。而N_lose表示B用A类方式接球失败的次数。

这种定义标准考虑了直接导致回合结果的A类击球。但忽略了许多也可能成为影响结果的其他击球。而本发明的方法可以有效解决这个标准的局限。在这个应用例中，通过比较本发明的方法得到的评估分数和单纯由上述定义得出的得分率，在评估有效性上的表现，来说明本发明的改进效果。本应用例的目标是确定伊藤在比赛中进行不同类型的击球时的优势和劣势。之所以选择伊藤，是因为她在乒乓球拍上使用的是其他选手很少使用的颗粒胶，业内分析员普遍对她的技术最感兴趣。

图5A显示不同技术的得分率，图5B显示本发明方法对它们的评估。根据图5A，分析员通过得分率由高到低排序，确定了伊藤的四种主要技术，即逆旋转发球、钟摆发球、拧球以及搓球(图中使用深黑色高亮显示)，它们的得分率都高于70％。

但在本发明的评估中，搓球(用方框突出显示)技术的评估得分没有其他三种技术高。为此，分析员检查了搓球技术击球的详细评估结果，如图6A所示。

在这场比赛中，有13次击球是由搓球完成的，其中大部分评估在0分以下，这说明该技术表现较差。分析员通过对这些击球位于回合中的时间阶段进行了检查，发现除了第一个击球，其余用搓球完成的击球均位于一个回合的开始阶段。第一个击球是该回合的倒数第二次击球，陈梦回接失败。

因此在计算得分率时，N_win等于1，N_lose等于0，所以搓球技术的最终得分率为100％，导致该技术的不准确评估。但针对这个得分球来说，伊藤的击球质量在本发明的技术方法中评估中只得了0.21，说明击球质量并不高。

通过反复观测视频，分析员发现，此次击球，在伊藤使用搓球之后，陈梦尝试用弧圈球技术来接球，主要是因为搓球是一种进攻打法，而弧圈球是常用的防守技术。伊藤的搓球技术并没有使得陈梦无法防守，这实质上是让伊藤处于劣势。如果此时，陈梦利用弧圈球防守成功，那么陈梦就将赢得该回合。

分析员也分析来评估分数最低的搓球击球(仅获-0.73)，该次击球条件与第一次搓球条件相近，不同点在于陈梦用弧圈球技术成功接到了该球，并且获得该回合的胜利。通过两次的比较，分析员总结伊藤的搓球技术并没有仅有得分率所显示得那么好。

应用例2

本应用例关注对于比赛中球员的动态(随时间变化)表现的评估效果。

在该应用例中，分析员主要通过对击球的评估结果来关注球员表现的变化。将一名球员在一个回合中所有的击球评估分数相加，作为该球员该回合的总评估分数。随后，在一个特别设计的条形图(图7A)中，将两方球员在该回合中的评估分数差异可视化。

图7中，浅灰色代表陈蒙，深灰色代表伊藤。条形图的高度表示绝对差值，如果陈梦的击球评估分数大于伊藤，则该条由橙色编码并向上延伸，反之亦然。图表中间的点表示每个回合的获胜者。这场比赛有7局，橙色和紫色的数字表示每局两名选手的得分。根据柱形条高度的变化，发现在第4局比赛中有两个有趣的趋势变化(10:12)。比赛开始时，陈梦的评估得分在连续4个回合中逐步提高。随后出现了一个转折点，伊藤的评估分数开始高于陈梦，但她的评估优势在3个回合逐渐减小。进一步可视化第3个回合到第9个回合的中每一次击球的评估分数。

在第3回合是伊藤的发球，该发球的表现不错，但随后由于伊藤的失误，陈梦的评估分数开始增长。分析员分析，在比赛中发球方可以掌握回合的主动权。但在该回合中，伊藤失误而接球失败，导致回合失分。该次失误也影响了伊藤后续的发挥，促成陈梦在随后2个自己的发球回合得分。在第7回合，伊藤抓住了发球的优势，并得分。但等到陈梦发球，伊藤又逐步失去评估优势。由此，分析员得到结论，发球对回合的得分率有极大的影响，球员应谨慎把握发球权。

应用例3

本应用例关注单方球员在一个回合中的表现评估。

该应用例中，分析员关注的是球员具有击球评估优势，但是却输掉回合的异常情况。柱状条和点将不同的回合编码不同的颜色。分析员在图7B中选择一个异常回合，并深入分析其中每一次击球的评估情况。

根据柱状图显示，除了最后一次击球外，伊藤的其他所有的击球都表现很好，这种情况在比赛中是罕见和异常的。为了证实这一点，分析员检查了比赛录像。

在图8上方的图像显示了伊藤的运动情况，图8下方的图像显示了陈梦的运动。可以发现，伊藤极好地控制了击球位置，在整个回合中几乎没有移动身体。相比之下，陈梦在接球时失去了平衡。如果伊藤成功地完成了最后一次击球，陈梦将很难接到。通过这个用例分析，分析员认为伊藤是一个极有潜力的球员，她的表现受限于来自她自身的本可以避免的失误。

本发明是基于运动员运动情况的数据驱动的新颖评估方法。该方法以比赛视频为输入，自动评估每一次击球质量。通过取消手动数据标注过程和减少对专业领域知识的需求，大大减轻了分析员对击球评估的工作负担。

从应用例中获得的结论不仅有助于他们验证一些经验知识(应用例二)，而且有助于他们更新针对传统方法的认知(应用例一)。然而，在实现该框架的过程中遇到一个主要的问题，也就是比赛视频的质量将决定了该框架的健壮性。比赛视频的分辨率、帧速率和相机角度都会对光流的计算结果产生影响，从而进一步影响评估结果。

事实上，由于视频来源的不同，分析员使用的比赛视频在这三个因素上存在很大差异。因此，当分析不同的比赛时，框架的稳定性会波动。这个问题导致该框架无法被专业分析员轻易接受。如果未来的比赛录像是按照标准质量录制的，则该平台有望通过对现场直播比赛视频的分析，支持对球员的实时表现评估，为教练员在比赛中调整球员的比赛策略提供参考。

本方法创造性地提出了将运动员的运动数据引入到比赛分析中的研究思路。运动员的运动数据有效揭示了比赛和运动员表现的重要信息。在验证阶段，测试用例展示了本框架使用运动数据进行击球质量评估的优势。框架还可以用于支持更复杂的任务，并在考虑运动数据的情况下提高其性能。另外，框架的应用场景并不仅仅局限于乒乓球比赛分析，具有极强的移植性，可以应用到其它类似的，如网球和羽毛球这样的球网运动中。

Claims (6)

1.一种基于运动数据的自动化乒乓球击球表现评估方法，其特征在于，包括以下步骤：

1)获取乒乓球比赛的直播视频，定义一个回合的击球为R＝{S₁,S₂,...,S_i}，S_i为击球帧序列，表示在R回合中的第i次击球；

2)提取一个击球回合每次击球动作中显示双方球员运动情况的单位时间帧，并对其进行图像降噪处理；对单位时间帧进行图像降噪处理的过程包括：

2-1)取每次击球包括n个连续时间帧，即

使用目标检测框架，得到每一时间帧

中乒乓球桌和双方球员所在位置的边界框；

2-2)对一个球员在一个击球帧序列S_i中由于移动产生的不同边界框取并集；

2-3)给击球帧序列S_i中的每一时间帧关联一个蒙版，利用该蒙版，将边界框并集外的像素值设为0，由此降低图像噪声干扰，得到经过处理的时间帧

和击球帧序列S’_i；

3)将每个击球帧序列中击球的技术特征和球员的运动特征进行结合，得到一个特征向量；包括：

3-1)判断击球帧序列为背向帧序列还是面向帧序列；

3-2)计算连续的两个时间帧

和

的光流，得到叠加光流矩阵；

3-3)若击球帧序列为背向帧序列，则将击球帧序列S’_i中所有叠加光流矩阵输入背向帧嵌入模型中进行特征嵌入；若击球帧序列为面向帧序列，则将击球帧序列S’_i中所有叠加光流矩阵输入面向帧嵌入模型中进行特征嵌入；

3-4)得到对应的特征向量；

4)获得特征向量后，使用分类预测模型评估击球的质量，所述的分类预测模型通过以下方法训练得到：

通过职业乒乓球运动员观看比赛视频，从两个层面评估击球帧序列S_i，量化标准为1代表击球结果处于优势，-1代表击球结果处于劣势，以此建立训练集、验证集和测试集；

将训练集中的击球帧序列S_i输入支持向量机中进行训练，每次训练后利用验证集进行验证，直至训练的准确率不再发生变化；最后利用测试集进行测试，得到分类预测模型；

所述的分类预测模型预测击球帧序列S_i的质量表现概率，最后的得分Score_i由期望值表示，如下：

Score_i＝p_i,ad*1+p_i,dis*(-1)

其中，P_i,ad表示处于优势的概率，P_i,dis表示处于劣势的概率。

2.根据权利要求1所述的基于运动数据的自动化乒乓球击球表现评估方法，其特征在于，步骤2-1)中，使用的目标检测框架为Faster R-CNN目标检测框架。

3.根据权利要求1所述的基于运动数据的自动化乒乓球击球表现评估方法，其特征在于，步骤2-1)中，设每次击球包括8个连续时间帧，取击中的时间帧及其前4帧和后3帧，作为有个击球帧序列。

4.根据权利要求1所述的基于运动数据的自动化乒乓球击球表现评估方法，其特征在于，所述的背向帧嵌入模型或面向帧嵌入模型通过以下方法训练得到：

a、利用分类好的击球帧序列S’_i建立训练集、验证集和测试集，并对每个击球帧序列S’_i进行标记，标记属性为击球技术、球员位置和球位置；

b、将训练集中的击球帧序列S’_i输入ResNet-20网络中进行训练，每训练一次采用验证集中击球帧序列S’_i进行验证，得到一个准确率；

c、直至训练到准确率不再发生变化时停止训练，并采用测试集中的击球帧序列进行测试；

d、测试成功后得到背向帧嵌入模型或面向帧嵌入模型。

5.根据权利要求4所述的基于运动数据的自动化乒乓球击球表现评估方法，其特征在于，步骤3-4)中得到的特征向量为ResNet-20网络输出的特征向量。

6.一种基于运动数据的自动化乒乓球击球表现评估系统，用于实现权利要求1～5中任一权利要求所述的基于运动数据的自动化乒乓球击球表现评估方法，其特征在于，包括图像处理模块、特征提取模块和得分评估模块。

Images